CN116523118A - 基于异构图神经网络的多源信息传播预测方法及*** - Google Patents
基于异构图神经网络的多源信息传播预测方法及*** Download PDFInfo
- Publication number
- CN116523118A CN116523118A CN202310395439.8A CN202310395439A CN116523118A CN 116523118 A CN116523118 A CN 116523118A CN 202310395439 A CN202310395439 A CN 202310395439A CN 116523118 A CN116523118 A CN 116523118A
- Authority
- CN
- China
- Prior art keywords
- time
- prediction
- popularity
- information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 239000000203 mixture Substances 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 125000005842 heteroatom Chemical group 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于异构图神经网络的多源信息传播预测方法及***,该方法包括基于社交网络信息,构建异构图;基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。本发明所提出的方法弥补了传统模型在时间段划分方案缺乏灵活性、关注关系冗余、无法兼顾时空特征且缺乏可拓展性这些方面的不足,能高效且准确地预测社交网络中单/多源信息的流行度。
Description
技术领域
本发明涉及社交网络信息传播技术领域,尤其涉及一种基于异构图神经网络的多源信息传播预测方法及***。
背景技术
随着通讯网络、移动设备与互联网技术的发展,社交网络已经十分普及,大部分拥有移动设备的人都在诸如新浪微博、Twitter、抖音等社交网络平台中拥有自己账号,并在这些社交网络中发布信息以及参与信息的传播。社交网络中蕴含着种类丰富的数据。对于社交网络中的用户而言,平台会要求用户填充用户名、个人喜好、居住地等基本信息了;对于用户发布的信息而言,每一条信息可能同时包含着文字、音乐、图片、视频中一项或多项;对于用户互动而言,用户可以对平台中存在的信息进行点赞、评论和转发,亦可以对其他用户进行关注。
此外,用户发布的信息还拥有宏观和微观两种形式。对于用户发布的单条信息,如新浪微博中的单条微博,则属于微观形式的信息,我们称之为“单源信息”;此外,大部分社交网络中允许用户对发布的信息添加话题标签,如新浪微博中话题标签可以通过双井号添加,多条带有相同话题标签的单源信息共同组成了一种更为宏观的信息——话题信息,我们称之为“多源信息”。显然,多源的话题信息相比于单源信息,能更好地反映社交网络中用户对于某一个热点事件的舆情态势,因此也有着更好的应用价值。
社交网络中,信息的流行度指的是一条信息最终的传播量。在社交网络中对于用户发布的信息,特别是话题这一多源信息的流行度进行预测可以应用于商品营销推广收益分析、谣言监测、舆情监控甚至传染病研究等场景。因此,如何充分利用社交网络中存在的丰富数据,去设计一个能处理更为复杂、更为宏观和抽象的多源信息的模型,成为了该领域的巨大挑战。
现有技术主要可以分为四类:基于传播模式的方法,这些方法通过预先假设用户之间信息传播的概率,并在全局的用户关注网络中选取信息传播的种子用户进行模拟,将多次模拟后的均值作为结果;基于特征工程的方法,这些方法手动地提取用户发布信息特征(如词频等)、用户画像特征(如粉丝/关注者数量等),并基于这些特征值通过线性或非线性的计算进行预测;基于生成式模型的方法,这些方法假设信息的传播可以通过一些数学模型进行生成,如使用霍克斯过程、点过程等;基于深度学习的方法,这些方法通过多层感知机、循环神经网络、图神经网络等方法自动地学习用户、信息的特征并端到端地进行预测。
但现有方法的缺点存在以下问题:
1.基于自然语言处理和计算机视觉的方法:缺乏通用性。对于不同的语言种类(如中文、英文、Emoji表情)需要分别地进行模型的构建和训练,且对于信息中不同类别的多模态信息(如文字、视频、音频、图片等)难以同时兼顾这些类别的信息。
2.对于级联序列中时间段的划分处理过于生硬、缺乏通用性。对于时间段的处理可以分为粗粒度、中粒度、细粒度三种。细粒度将级联中每一个转发行为视为一个独立的时间段并分别进行处理;粗粒度则忽略所有时间细节,将所有转发行为看成在同一个时间段内发生的,并统一处理所有的时间信息;中粒度则基于粗细粒度之间,将若干个转发行为划分在一个时间段内,并得到长度小于级联序列长度的时间段序列。显然,无论是粗粒度、细粒度还是中粒度,其划分方式都是人为预先设定的,对于不同社交网络平台、不同信息、不同用户行为偏好缺乏通用性。
3.所使用的用户关注网络存在冗余。现有方法往往使用完整的用户关注网络或者根据级联中的用户在完整的用户关注网络中按跳采样,这些方法虽然通过使用用户关注网络帮助发掘潜在的会参与信息传播的用户,但也在级联中用户数量的基础上引入了十倍、百倍甚至更大数量级的关注者用户,而这些引入的关注者大部分都对于流行度的预测没有帮助。
4.现有的方法缺乏启发性和可拓展性。现有方法往往提出的是各个流程都精雕细琢的端到端模型,部分流程缺少相关的测试和实验分析,且难以对其中某个流程或步骤进行替换,缺乏工程上的启发性和可拓展性。
发明内容
为此,本发明实施例提供了一种基于异构图神经网络的多源信息传播预测方法及***,用于解决现有技术中对于级联序列中时间段的划分处理过于生硬、所使用的用户关注网络存在冗余、缺乏启发性和可拓展性的问题。
为了解决以上问题,本发明实施例提供一种基于异构图神经网络的多源信息传播预测方法,该方法包括:
S1:基于社交网络信息,构建异构图;
S2:基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
S3:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述步骤S3具体包括:
S31:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
S32:基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
S33:根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
S34:通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
S4:利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
优选地,基于社交网络信息,构建异构图的方法具体包括:
S11:对社交网络中任何一条单源或多源信息,定义其完整转发的数据用级联c=[(u0,v0,ts0),(u1,v1,ts1)…]表示,则在观测到的信息i的转发级联数据中,所有用户的集合为/>其中v、u表示用户,ts表示时刻,c表示转发级联数据,/>表示观测观测时长;
S12:将观测到的信息i的转发级联数据等矩地划分T个时间段,并将每一个时间段映射为一个异构图中的时间节点,得到时间节点集合/>
S13:采样完整的用户关注网络中和级联中用户相关的一部分关注网络的子图,得到用户关注边集合,最终得到包含用户节点与用户节点、时间节点与时间节点、时间节点与用户节点的多种边异构图。
优选地,通过带权动态采样算法,采样完整的用户关注网络中和级联中用户相关的一部分关注网络的子图,得到用户关注边集合的方法具体包括:
输入带权动态采样算法的初始参数φs,φr,φl,φc,α,β以及π,并输入用于处理的数据Gr,c和Gf,初始化输出用户关注边集合Ef,c以及候选关注者的集合其中,φs,φr,φl,φc为Gr,c中的基础权重,α,β为用于控制总采样规模的两个因子,Gr,c为级联c仅通过<用户,转发,用户>构建的异构图,Gf为用户关注网络;
通过α和β计算总的采样关注者数Γ;
进行循环采样:首先对级联中用户更新权重;再将级联中用户的权重累加至他们的关注者中以更新关注者权重;然后选择权重最高的π个关注者,将他们从集合中移除并合并至集合Ef,c中;最后根据集合Ef,c中采样关注者数量是否达到Γ以及是否所有候选关注者都被采样完,即集合/>是否为空两个条件判断是否继续进行下一批的采样;
当循环采样结束后,输出用户关注边集合Ef,c。
优选地,在步骤S2中,所述初始特征生成策略包括可学习的嵌入策略和动态的嵌入策略;所述可学习的嵌入策略为异构图中所有点和边随机生成一个特征矩阵,每个点或边的特征为该矩阵中的一行,每次训练时从矩阵中取出对应行作为初始特征;所述动态的嵌入策略不保存全局的特征矩阵,而是在每次训练前随机生成一个初始特征。
优选地,在步骤S3中,预先构建的多层时空嵌入网络模型以多层时空嵌入模块作为骨干网络,所述多层时空嵌入模块的每一层由异构图神经网络、时序衰减模块和时间嵌入模块依次组成。
优选地,在优化训练过程中,对于第l层的时空嵌入模块,其计算过程如下:
对于每一条边e以及其端点u和v,其对应的点和边类型分别为Te,Tu,Tv,先通过消息函数MSG生成消息特征:
其中,W为模型中可学习的权重参数,l表示第l层的时空嵌入模块,X为点和边生成初始特征;
对于每一个节点,通过聚合函数AGG聚合来自同一类边的领域的消息:
其中,表示点v在Te类型边中的入邻居的点边对;
对每种类型边聚合的领域消息对节点特征和边特征进行更新,更新函数分别为UPDN和UPDE:
其中,
利用时间衰减模块TD,模拟社交网络中消息的影响力随着时间不断衰减,其输入为所有时间节点的特征计算如下:
利用时间嵌入模块进行时间嵌入,其输入为时序衰减后的所有时间节点特征。
优选地,在步骤S32中,基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值的方法具体包括:
基于所述输出特征,首先根据流行度分档的分类任务将消息的流行度按照2的幂分为共Lv个档位,如Lv=10时,分为{[21,22),[2,2,23),…,[210,+∞)}这10个档位,对于级联c的档位记为训练分类器Cls输出每个档位的预测概率p=softmax(Cls(·)),其预测的档位为/>其次根据预测流行度的回归任务,训练Lv个回归器Reg,第i个回归器记为Regi,最终的回归输出为:
其中,为信息的流行度的预测值。
优选地,在步骤S33中,根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失的方法具体包括:
首先使用信息的流行度的预测值和真实流行度计算预测误差MSLE:
其中,为信息的流行度的预测值,y为信息的流行度的真实值,MSLE表示均方误差;
其次计算分类任务的交叉熵误差CE:
其中,Lv为档位,p为每个档位的预测概率;
然后计算利用时间线误差TE:
其中,CS(·)表示余弦相似度的计算函数,T为时间段,为时间节点的特征;
最后统计所有权重和偏置参数的L2正则项,并将其他误差损失加权相加,得到最终的损失:
其中,B为小批量训练的批量大小,α1,α2为权重。
本发明实施例还提供了一种基于异构图神经网络的多源信息传播预测***,该***包括:
异构图构建模块,用于基于社交网络信息,构建异构图;
初始特征生成模块,用于基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
训练模块,用于将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述训练模块具体包括:
将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
预测模块,用于利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
本发明实施例还提供了一种网络装置,包括处理器、存储器和总线***,所述处理器和存储器通过该总线***相连,所述存储器用于存储指令,所述处理器用于执行存储器存储的指令,以实现上述任意一项所述的基于异构图神经网络的多源信息传播预测方法。
从以上技术方案可以看出,本发明申请具有以下优点:
本发明实施例提供一种基于异构图神经网络的多源信息传播预测方法及***,首先本发明主要从信息传播和用户关系的角度进行模型设计,从而避免了使用自然语言处理和计算机视觉技术导致的缺乏通用性的问题。其次本发明将级联c中每一个三元组中的两个用户视为一条有向边的两个端点,并构建一个有向无环图。如此构建的图避免了需要考虑语言、多模态内容,从而在不同的语言环境、社交网络平台中均能实现,取得了较好的通用性。再次本发明提出了一种时间段“软划分”方法,实现了时间段的自适应划分,从而提高了时间段划分的灵活性和准确性,避免了手动指定划分粒度导致的低通用性。具体而言,软划分在预先给定的中粒度时间段划分的基础上,额外考虑了每一个用户和所划分时段相邻的多个时段,即将每一个用户对应多个候选时间段,通过注意力机制自动进行用户和候选时间段之间的权重分配。另外,本发明提出了一种用户关注网络中低冗余的“带权动态采样”方法,显著降低了额外引入点的关注者和关注关系的数量,避免了关注网络引入的数据量和冗余暴增、计算效率降低。最后,本发明设计了清晰的工程架构,拥有良好的可拓展性,且对框架内每个模块的技术选型均进行了实验分析和讨论。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案,下边将对实施例中所需要使用的附图做简单说明,通过参考附图会更清楚的理解本发明的特征和优点,附图是示意性的而不应该理解为对本发明进行任何限制,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。其中:
图1为根据实施例中提供的一种基于异构图神经网络的多源信息传播预测方法的流程图;
图2为社交网络中的信息传播结构示意图;
图3为本发明构建的异构图示意图;
图4为根据实施例中提供的一种基于异构图神经网络的多源信息传播预测***的框图。
具体实施方式
为使本发明实施例的目的、技术方案与优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提出一种基于异构图神经网络的多源信息传播预测方法,该方法包括:
S1:基于社交网络信息,构建异构图;
S2:基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
S3:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述步骤S3具体包括:
S31:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
S32:基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
S33:根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
S34:通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
S4:利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
本发明提供用了一种基于异构图神经网络的多源信息传播预测方法,本发明在构建异构图过程中,首先采用了自适应的时间段划分方案,使得划分的准确性进一步提高,降低了对预定义的划分方案的依赖,提高了本发明适用场景的灵活性;其次采用一种带权动态采样算法,在引入了关注关系用于辅助预测的同时又不至于导致计算效率的衰减,实现了模型准确度和计算效率的调和。构建了多层时空嵌入网络模型,多层时空嵌入网络模型以多层时空嵌入模块作为骨干网络,所述多层时空嵌入模块的每一层由异构图神经网络、时序衰减模块和时间嵌入模块依次组成,每一个模块均可替换成其他任意相同接口的模块且支持任意叠加,实现了在一个独立功能模块层中同时进行了时间、空间特征嵌入的功能。本发明所提出的方法弥补了传统模型在时间段划分方案缺乏灵活性、关注关系冗余、无法兼顾时空特征且缺乏可拓展性这些方面的不足,能高效且准确地预测社交网络中单/多源信息的流行度。
本发明方法可用于评估社交网络中单源或多源信息传播的规模(即总转发量),也可用于恶意消息/用户风险评估、舆情监控、推广营销等领域。对于社交网络中的单源或多源信息,我们观测其时长(如1小时)的传播,并预测其最终的转发量,如图2所示,通过观测到的u0-u5这6个用户的所参与的转发,其最终的规模为u0-u10这11个用户。
进一步地,在步骤S1中包括:
对社交网络中任何一条单源或多源信息,其完整转发的数据用级联c=[(u0,v0,ts0),(u1,v1,ts1)…]表示。在我们观测到的信息i的转发级联数据 中,所有用户的集合为/>其中v、u表示用户,ts表示时刻,c表示转发级联数据,/>表示观测时长,我们首先从级联中提取用户之间的转发边,即<用户,转发,用户>边。<用户,转发,用户>边的邻接矩阵记为E转发,任意两用户u和v间的边计算如下:
对于级联c仅通过<用户,转发,用户>构建的异构图,可以记为Gr,c。
将观测到的信息i的转发级联数据等矩地划分T个时间段,并将每一个时间段映射为一个异构图中的时间节点,得到时间节点集合/> 对于每一个用户,用双向边连接其转发行为所在时间段所对应的时间节点,得到<时间,包含,用户>和<用户,转发于,时间>的关系,这种用户划分到时间段的方法称之为硬划分。对于给定的软划分区间大小S,在硬划分的基础上,最多额外考虑前S个时间节点和后S个时间节点,即对每一个用户额外地连接最多2S个时间节点,用于更好地学习用户和时间之间的相关性。此外,在相邻的时间节点间(如第i个和第i+1个时间节点之间)我们也建立边<时间,过渡,时间>相连用于建模时间的线性相关性。
首先在<时间,包含,用户>和<用户,转发于,时间>边构建下:对于<用户,转发于,时间>边,其邻接矩阵记为E转发于,其中任一用户节点u和任一时间节点ti的边计算如下:
然后将邻接矩阵E转发于装置得到<时间,包含,用户>边的邻接矩阵E包含,其计算为E包含=E转发于 T。最后,我们对相邻的时间节点顺序地进行连接,得到<时间,过渡,时间>边的邻接矩阵E过渡,任意两个时间节点ti和tj之间的边计算如下:
通过带权动态采样算法,在完整的用户关注网络中采样和级联中用户相关的一部分关注网络的子图,得到<用户,关注,用户>的边,最终得到包含用户节点与用户节点、时间节点与时间节点、时间节点与用户节点的多种边异构图Gc。其中<用户,关注,用户>边的邻接矩阵记为E关注,然后E关注中任意两个u和v的边计算如下:
对于带权动态采样算法,该算法考虑了Gr,c中每一个用户的三种位置:源节点(入度为0)、中间节点(出入度均非0)、叶子节点(出度为0),并为其中的每类位置、每一个子级联(对于多源级联表现为Gr,c中的每一个连通分量)分别设置基础权重φs,φr,φl,φc,并设置用于控制总采样规模的两个因子α,β、以及每一批采样的用户数π,并基于这些参数在完整的关注网络Gf上进行采样,并最终输出采样到的用户关注边集合Ef,c。首先是算法的初始化阶段:先输入上述的φs,φr,φl,φc,α,β以及π作为初始参数,并输入用于处理的数据Gr,c和Gf;然后初始化作为输出边集Ef,c以及候选关注者的集合为空集,通过α和β计算总的采样关注者数Γ。随后,开始小批量的循环采样:先对级联中用户更新权重,再将级联中用户的权重累加至他们的关注者中以更新关注者权重;然后选择权重最高的π个关注者,将他们从集合/>中移除并合并至集合Ef,c中;最后根据Ef,c中关注者数量是否达到Γ以及是否所有候选关注者都被采样完(即集合/>是否为空)两个条件,判断是否继续进行下一批的采样。当循环采样结束后,输出采样到的用户关注边集Ef,c。
此时,我们得到了共包含5类边关系(转发、关注、转发于、包含、过渡)、2类节点(用户、时间)的异构图Gc,如图3所示。
进一步地,在步骤S2中包括:
基于上述异构图Gc,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征X0。所述初始特征生成策略包括可学习的嵌入策略(Learnableembedding strategy,记为Ln)和动态的嵌入策略(Dynamic embedding strategy,记为Dy);所述可学习的嵌入策略为异构图中所有点和边随机生成一个特征矩阵,每个点或边的特征为该矩阵中的一行,每次训练时从矩阵中取出对应行作为初始特征X0;所述动态的嵌入策略不保存全局的特征矩阵,而是在每次训练前随机生成一个初始特征X0,这意味着对于同一批点和边每次都会使用不同的特征,是不可学习的,其目的是模拟社交网络中用户偏好和关系的动态性。
进一步地,在步骤S3中包括:
将异构图Gc和初始特征X0输入到预先构建的多层时空嵌入网络模型中进行优化训练。具体的训练过程包括:S31:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;S32:基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;S33:根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;S34:通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型。其中预先构建的多层时空嵌入网络模型以多层时空嵌入模块作为骨干网络,所述多层时空嵌入模块的每一层由异构图神经网络、时序衰减模块和时间嵌入模块依次组成。
在优化训练过程中,将异构图Gc和初始特征X0输入到预先构建的多层时空嵌入网络模型中进行计算,对于第l层的时空嵌入模块,其计算过程如下:
首先使用基于消息传递的图卷积思想进行计算,对于每一条边e以及其端点u和v,其对应的点和边类型分别为Te,Tu,Tv,先通过消息函数MSG生成消息特征:
其中,W为模型中可学习的权重参数,l表示第l层的时空嵌入模块,X为点和边生成初始特征;
其次对于每一个节点,通过聚合函数AGG聚合来自同一类边的领域的消息:
其中,表示点v在Te类型边中的入邻居的点边对;
然后对每种类型边聚合的领域消息对节点特征和边特征进行更新,更新函数分别为UPDN和UPDE:
其中,
利用时间衰减模块(Time Decay,记为TD),模拟社交网络中消息的影响力随着时间不断衰减,其输入为所有时间节点的特征计算如下:
利用时间嵌入模块进行时间嵌入,其输入为时序衰减后的所有时间节点特征,为典型的序列数据处理模块,因此本发明支持直接使用循环神经网络(RNN)和基于注意力机制的Transformer网络。
在步骤S32中,基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值的方法具体包括:
基于所述输出特征,首先根据流行度分档的分类任务将消息的流行度按照2的幂分为共Lv个档位,如Lv=10时,分为{[21,22),[2,2,23),…,[210,+∞)}这10个档位,对于级联c的档位记为训练分类器Cls输出每个档位的预测概率p=softmax(Cls(·)),其预测的档位为/>其次根据预测流行度的回归任务,训练Lv个回归器Reg,第i个回归器记为Regi,最终的回归输出为:
其中本步骤中的所有回归器和分类器均通过多层感知机进行实现,为信息的流行度的预测值。
在步骤S33中,根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失的方法具体包括:
首先使用信息的流行度的预测值和真实流行度计算预测误差MSLE:
其中,为信息的流行度的预测值,y为信息的流行度的真实值,MSLE表示均方误差;
其次计算分类任务的交叉熵误差CE:
其中,Lv为档位,p为每个档位的预测概率;
然后计算利用时间线误差TE,本发明设计的时间线误差TE,用于让本发明构建的异构图中多个时间节点的特征平滑化和差异化,具体计算为:
其中,CS(·)表示余弦相似度的计算函数,T为时间段,为时间节点的特征;
最后统计所有权重和偏置参数的L2正则项,用于防止模型过拟合,并将其他误差损失加权相加,得到最终的损失:
其中,B为小批量训练的批量大小,α1,α2为权重。
再进一步地,利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
如图4所示,本发明提供一种基于异构图神经网络的多源信息传播预测***,该***包括:
异构图构建模块10,用于基于社交网络信息,构建异构图;
初始特征生成模块20,用于基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
训练模块30,用于将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述训练模块30具体包括:
将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
预测模块40,用于利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
所述***,用以实现上述所述的基于异构图神经网络的多源信息传播预测方法,为了避免冗余,在此不再赘述。
下面通过具体的实验来验证本发明发方法的有效性。
一、实验数据
实验数据来自新浪微博和Twitter的真实数据集。对于来自新浪微博的数据集,根据社交网络中信息的单源和多源这一特点,进一步组织为SSC和MSC两个子数据集;对于来自Twitter的数据集,则仅包含单源信息。具体而言:MSC数据集包含2977573个用户、9071666个关注者、19688条多源信息,每个用户参与传播的信息数的最小值、均值、最大值分别为1、3、1847,每个用户关注边数量的最小值、均值、最大值分别为1、5、15654,每条信息传播规模的最小值、均值、最大值分别为10、275、9276;SSC数据集包含887608个用户、3693057个关注者、10420条单源信息,每个用户参与传播的信息数的最小值、均值、最大值分别为1、1、462,每个用户关注边数量的最小值、均值、最大值分别为1、4、5719,每条信息传播规模的最小值、均值、最大值分别为50、249、63599;Twitter数据集包含8510个用户、80070个关注者、365576条单源信息,每个用户参与传播的信息数的最小值、均值、最大值分别为1、2、412,每个用户关注边数量的最小值、均值、最大值分别为1、5、94,每条信息传播规模的最小值、均值、最大值分别为20、37、193。可以观察到的是,从用户数、信息传播规模和用户关注网络规模等数据来看,SSC和MSC相对于Twitter均更大,这意味着SSC和MSC整体上有着更大数据体量,而更大的传播规模意味着预测的难度也更大。
二、实验设置
设置激活函数σ为LeakyReLU,带权动态关注关系的相关参数φs,φr,φl,φc,α,β,π分别设置为6、4、5、100、10、15,并使用Adam优化器对模型进行优化,时间段数量T设置为6,软划分区间S设置为2,流行度档位Lv设置为10,并叠加3层时空嵌入层,多层感知机层数设置为3。
三、评价指标
通过信息的流行度的预测值与真实值的预测误差MSLE来评估方法的准确性,MSLE值越小,算法误差越小,准确度越高。
四、与其他方法进行对比
本实验选择NodeVec(2016)、DeepCas(2017)、DeepHawkes(2017)、Topo-LSTM(2017)、CoupledGNN(2020)、CasCN(2019)、HERI-GCN(2022)作为对比的基准方法,在这三个数据集上分别设置观测时间为0.5、1小时进行比较。
表1为不同方法在MSLE指标下的实验比较结果,结果表明,本发明提出的方法有着十分良好的性能。相比于最优的基准算法,在多个数据集上均有着十分显著的提升,如在SSC上时,最好的基准算法为HEIR-GCN,其MSLE为0.398,而本本发明方法MSLE为0.317。
表1
此外,在表2中比较了使用不同的特征初始化策略、关注者采样策略(Hp为1跳采样,WD为本发明提出的带权动态采样算法)、时间嵌入模块(Transformer缩写为TR,-表示无时间嵌入模块)对模型准度的影响。结果表明,本发明设计的带权动态采样能带来比按跳采样更好的预测准度,同时时间嵌入模块也能带来性能的提升,不同的数据集分别适合不同的特征初始化策略。
表2
五、实验总结
实验结果表明本发明提出的方法能准确的预测单/多源的信息传播规模,且在大规模和小规模的数据集上均表现良好,即使观测时长较短仍能准确地进行预测;且对本发明中各个模块进行了替换、比较和分析,说明本发明有着较好的可拓展性,同时为后续的优化和开发提供了指导作用。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.基于异构图神经网络的多源信息传播预测方法,其特征在于,包括:
S1:基于社交网络信息,构建异构图;
S2:基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
S3:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述步骤S3具体包括:
S31:将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
S32:基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
S33:根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
S34:通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
S4:利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
2.根据权利要求1所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在步骤S1中,基于社交网络信息,构建异构图的方法具体包括:
S11:对社交网络中任何一条单源或多源信息,定义其完整转发的数据用级联c=[(u0,v0,ts0),(u1,v1,ts1)…]表示,则在观测到的信息i的转发级联数据中,所有用户的集合为/>其中v、u表示用户,ts表示时刻,c表示转发级联数据,/>表示观测时长;
S12:将观测到的信息i的转发级联数据等矩地划分T个时间段,并将每一个时间段映射为一个异构图中的时间节点,得到时间节点集合/>
S13:采样完整的用户关注网络中和级联中用户相关的一部分关注网络的子图,得到用户关注边集合,最终得到包含用户节点与用户节点、时间节点与时间节点、时间节点与用户节点的多种边异构图。
3.根据权利要求2所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,通过带权动态采样算法,采样完整的用户关注网络中和级联中用户相关的一部分关注网络的子图,得到用户关注边集合的方法具体包括:
输入带权动态采样算法的初始参数φs,φr,φl,φc,α,β以及π,并输入用于处理的数据Gr,c和Gf,初始化输出用户关注边集合Ef,c以及候选关注者的集合其中,φs,φr,φl,φc为Gr,c中的基础权重,α,β为用于控制总采样规模的两个因子,Gr,c为级联c仅通过<用户,转发,用户>构建的异构图,Gf为用户关注网络;
通过α和β计算总的采样关注者数Γ;
进行循环采样:首先对级联中用户更新权重;再将级联中用户的权重累加至他们的关注者中以更新关注者权重;然后选择权重最高的π个关注者,将他们从集合中移除并合并至集合Ef,c中;最后根据集合Ef,c中采样关注者数量是否达到Γ以及是否所有候选关注者都被采样完,即集合/>是否为空两个条件判断是否继续进行下一批的采样;
当循环采样结束后,输出采样到的用户关注边集合Ef,c。
4.根据权利要求1所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在步骤S2中,所述初始特征生成策略包括可学习的嵌入策略和动态的嵌入策略;所述可学习的嵌入策略为异构图中所有点和边随机生成一个特征矩阵,每个点或边的特征为该矩阵中的一行,每次训练时从矩阵中取出对应行作为初始特征;所述动态的嵌入策略不保存全局的特征矩阵,而是在每次训练前随机生成一个初始特征。
5.根据权利要求1所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在步骤S3中,预先构建的多层时空嵌入网络模型以多层时空嵌入模块作为骨干网络,所述多层时空嵌入模块的每一层由异构图神经网络、时序衰减模块和时间嵌入模块依次组成。
6.根据权利要求5所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在优化训练过程中,对于第l层的时空嵌入模块,其计算过程如下:
对于每一条边e以及其端点u和v,其对应的点和边类型分别为Te,Tu,Tv,先通过消息函数MSG生成消息特征:
其中,W为模型中可学习的权重参数,l表示第l层的时空嵌入模块,X为点和边生成初始特征;
对于每一个节点,通过聚合函数AGG聚合来自同一类边的领域的消息:
其中,表示点v在Te类型边中的入邻居的点边对;
对每种类型边聚合的领域消息对节点特征和边特征进行更新,更新函数分别为UPDN和UPDE:
其中,
利用时间衰减模块TD,模拟社交网络中消息的影响力随着时间不断衰减,其输入为所有时间节点的特征计算如下:
利用时间嵌入模块进行时间嵌入,其输入为时序衰减后的所有时间节点特征。
7.根据权利要求1所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在步骤S32中,基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值的方法具体包括:
基于所述输出特征,首先根据流行度分档的分类任务将消息的流行度按照2的幂分为共Lv个档位,如Lv=10时,分为{[21,22),[2,2,23),…,[210,+∞)}这10个档位,对于级联c的档位记为训练分类器Cls输出每个档位的预测概率p=softmax(Cls(·)),其预测的档位为/>其次根据预测流行度的回归任务,训练Lv个回归器Reg,第i个回归器记为Regi,最终的回归输出为:
其中,为信息的流行度的预测值。
8.根据权利要求1所述的基于异构图神经网络的多源信息传播预测方法,其特征在于,在步骤S33中,根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失的方法具体包括:
首先使用信息的流行度的预测值和真实流行度计算预测误差MSLE:
其中,为信息的流行度的预测值,y为信息的流行度的真实值,MSLE表示均方误差;
其次计算分类任务的交叉熵误差CE:
其中,Lv为档位,p为每个档位的预测概率;
然后计算利用时间线误差TE:
其中,CS(·)表示余弦相似度的计算函数,T为时间段,为时间节点的特征;
最后统计所有权重和偏置参数的L2正则项,并将其他误差损失加权相加,得到最终的损失:
其中,B为小批量训练的批量大小,α1,α2为权重。
9.一种基于异构图神经网络的多源信息传播预测***,其特征在于,包括:
异构图构建模块,用于基于社交网络信息,构建异构图;
初始特征生成模块,用于基于所述异构图,通过设定的初始特征生成策略为所述异构图中的每一个类节点和边生成初始特征;
训练模块,用于将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中进行优化训练,得到训练好的多层时空嵌入网络模型;
所述训练模块具体包括:
将所述异构图和所述初始特征输入到预先构建的多层时空嵌入网络模型中,通过计算得到输出特征;
基于所述输出特征,根据流行度分档任务和流行度预测任务进行预测输出,得到信息的流行度的预测值;
根据所述预测值计算预测误差,通过多种优化任务并综合所述预测误差得到最终的训练损失;
通过对训练损失进行反向传播来更新多层时空嵌入网络模型,直至训练损失收敛,得到训练好的多层时空嵌入网络模型;
预测模块,用于利用训练好的多层时空嵌入网络模型对社交网络中的多源信息传播进行预测。
10.一种网络装置,其特征在于,包括处理器、存储器和总线***,所述处理器和存储器通过该总线***相连,所述存储器用于存储指令,所述处理器用于执行存储器存储的指令,以实现权利要求1至8任意一项所述的基于异构图神经网络的多源信息传播预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310395439.8A CN116523118A (zh) | 2023-04-13 | 2023-04-13 | 基于异构图神经网络的多源信息传播预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310395439.8A CN116523118A (zh) | 2023-04-13 | 2023-04-13 | 基于异构图神经网络的多源信息传播预测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523118A true CN116523118A (zh) | 2023-08-01 |
Family
ID=87395130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310395439.8A Pending CN116523118A (zh) | 2023-04-13 | 2023-04-13 | 基于异构图神经网络的多源信息传播预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523118A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139134A (zh) * | 2021-04-26 | 2021-07-20 | 中国人民解放军国防科技大学 | 一种社交网络中用户生成内容的流行度预测方法、装置 |
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
CN113807616A (zh) * | 2021-10-22 | 2021-12-17 | 重庆理工大学 | 基于时空注意力和异构图卷积网络的信息扩散预测*** |
CN113850446A (zh) * | 2021-10-22 | 2021-12-28 | 重庆理工大学 | 融合时空注意力和异构图卷积网络的信息扩散预测方法 |
CN114928548A (zh) * | 2022-04-26 | 2022-08-19 | 苏州大学 | 一种社交网络信息传播规模预测方法及装置 |
CN115470994A (zh) * | 2022-09-15 | 2022-12-13 | 苏州大学 | 基于显式时间和级联注意力的信息流行度预测方法和*** |
US20230046801A1 (en) * | 2022-10-21 | 2023-02-16 | Northwestern Polytechnical University | Source localization method for rumor based on full-order neighbor coverage strategy |
-
2023
- 2023-04-13 CN CN202310395439.8A patent/CN116523118A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
CN113139134A (zh) * | 2021-04-26 | 2021-07-20 | 中国人民解放军国防科技大学 | 一种社交网络中用户生成内容的流行度预测方法、装置 |
CN113807616A (zh) * | 2021-10-22 | 2021-12-17 | 重庆理工大学 | 基于时空注意力和异构图卷积网络的信息扩散预测*** |
CN113850446A (zh) * | 2021-10-22 | 2021-12-28 | 重庆理工大学 | 融合时空注意力和异构图卷积网络的信息扩散预测方法 |
CN114928548A (zh) * | 2022-04-26 | 2022-08-19 | 苏州大学 | 一种社交网络信息传播规模预测方法及装置 |
CN115470994A (zh) * | 2022-09-15 | 2022-12-13 | 苏州大学 | 基于显式时间和级联注意力的信息流行度预测方法和*** |
US20230046801A1 (en) * | 2022-10-21 | 2023-02-16 | Northwestern Polytechnical University | Source localization method for rumor based on full-order neighbor coverage strategy |
Non-Patent Citations (1)
Title |
---|
XIGANG SUN ET AL.: "Explicit time embedding based cascade attention network for information popularity prediction", 《INFORMATION PROCESSING AND MANAGEMENT》, 17 January 2023 (2023-01-17), pages 1 - 20 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109062919B (zh) | 一种基于深度强化学习的内容推荐方法及装置 | |
CN112199608B (zh) | 基于网络信息传播图建模的社交媒体谣言检测方法 | |
CN109376844A (zh) | 基于云平台和模型推荐的神经网络自动训练方法和装置 | |
Hou et al. | Course recommendation of MOOC with big data support: A contextual online learning approach | |
EP3688673A1 (en) | Neural architecture search | |
Raza et al. | Cloud sentiment accuracy comparison using RNN, LSTM and GRU | |
CN111309927B (zh) | 一种基于知识图谱挖掘的个性化学习路径推荐方法及*** | |
US20170228349A1 (en) | Combined predictions methodology | |
CN113449183A (zh) | 基于离线用户环境和动态奖励的交互式推荐方法和*** | |
CN115470994B (zh) | 基于显式时间和级联注意力的信息流行度预测方法和*** | |
JP2017199355A (ja) | レコメンデーション生成 | |
CN114928548A (zh) | 一种社交网络信息传播规模预测方法及装置 | |
Lin et al. | Steering information diffusion dynamically against user attention limitation | |
Wu et al. | Estimating fund-raising performance for start-up projects from a market graph perspective | |
CN116992151A (zh) | 一种基于双塔图卷积神经网络的在线课程推荐方法 | |
CN113409157B (zh) | 一种跨社交网络用户对齐方法以及装置 | |
CN113610610A (zh) | 基于图神经网络和评论相似度的会话推荐方法和*** | |
Caschera et al. | MONDE: a method for predicting social network dynamics and evolution | |
Liu et al. | Predicting longitudinal user activity at fine time granularity in online collaborative platforms | |
CN113688306A (zh) | 一种基于强化学习的推荐策略生成方法及装置 | |
Karpov et al. | Detecting automatically managed accounts in online social networks: Graph embeddings approach | |
Xu et al. | Netrl: Task-aware network denoising via deep reinforcement learning | |
JP2014115685A (ja) | プロファイル解析装置及び方法及びプログラム | |
Liu et al. | Promoting generalization for exact solvers via adversarial instance augmentation | |
CN112507185B (zh) | 用户肖像的确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |