CN113870041B - 一种基于消息传递和图先验分布的微博话题检测方法 - Google Patents

一种基于消息传递和图先验分布的微博话题检测方法 Download PDF

Info

Publication number
CN113870041B
CN113870041B CN202111052898.3A CN202111052898A CN113870041B CN 113870041 B CN113870041 B CN 113870041B CN 202111052898 A CN202111052898 A CN 202111052898A CN 113870041 B CN113870041 B CN 113870041B
Authority
CN
China
Prior art keywords
user
topic
graph
distribution
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111052898.3A
Other languages
English (en)
Other versions
CN113870041A (zh
Inventor
贺瑞芳
王浩成
刘焕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111052898.3A priority Critical patent/CN113870041B/zh
Publication of CN113870041A publication Critical patent/CN113870041A/zh
Application granted granted Critical
Publication of CN113870041B publication Critical patent/CN113870041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于消息传递和图先验分布的微博话题检测方法，包括如下步骤：(1)以微博语料为基础，根据用户间的交互关系构建用户级的社交网络；(2)基于消息传递的用户节点嵌入表示：利用图卷积网络，整合社交媒体中帖子的内容信息与结构信息，将用户间的交互关系嵌入到用户节点嵌入表示中；(3)基于图先验变分自编码器的话题生成：将整合了用户交互关系的用户节点嵌入表示作为输入，将变分自编码器的标准高斯先验分布替换为包含用户交互的图先验分布，在话题推断过程中考虑用户间的相关性。总体而言，从用户节点嵌入表示和话题推断两阶段整合用户交互。本方法检测的话题更好地关注了用户间的相关性，得到了更高的连贯性。

Description

一种基于消息传递和图先验分布的微博话题检测方法
技术领域
本发明涉及自然语言处理以及社会媒体数据挖掘技术领域，具体为一种基于消息传递和图先验分布的微博话题检测方法。
背景技术
互联网的快速发展给我们的生活带来了巨大的进步。社交媒体的流行使得我们每个人都有平台可以发表自己的意见与观点。由此每天都会产生大量的短文本，分析它们中的话题是一项重要的任务，但人工进行分析费时费力。话题模型可以自动地提取文档-话题分布与话题-词分布，帮助快速人们分析文本，掌握文本信息。
传统的话题模型，如LDA，被广泛用于从文本语料库中发现潜在的话题。本质上，这些方法通过隐式地捕捉词共现模式来揭示潜在的话题。然而，当它们应用于简短的帖子上时，会面临严重的数据稀疏问题(即稀疏的帖子级词共现模式)。
为了解决上述问题，已有一些成功的研究：(1)基于聚合的方法：一些研究基于启发式的策略将多个帖子聚合起来。聚合策略包括基于作者关系聚合，基于对话关系聚合等等；BTM等方法直接建模biterms(即词对)的生成过程。(2)基于表示学习的方法：有的方法通过建模潜在概念的共现模式来揭示话题，还有的方法有效地融合了词的上下文信息。(3)基于社交上下文的方法：这类方法联合建模文本信息和社交网络结构信息。它建模社交网络结构，并将消息分为领导者消息或追随者消息。然而，学习概率生成模型的标准方法，如变分技术(Variational techniques)和吉布斯采样(Gibbs sampling)，在后验推理时都具有很高的计算复杂度，阻碍了这些方法应用于复杂的社交媒体场景。
变分自编码器(Variational auto-encoder，VAE)能够识别数据的结构并学习其潜在分布，是话题检测的常用的参数推理框架。NVDM是一种典型的基于VAE的话题模型。它将每个文档独立地输入推理网络，计算话题后验分布的均值和方差。然后从后验变分分布中提取潜在话题向量。最后通过生成网络重构输入文档。但它是为长文档设计的，对于社交媒体话题检测，IATM是经典的基于VAE的神经话题模型。它输入多个短帖子，通过挖掘用户动态交互来学习社交网络中的边嵌入表示。边嵌入表示也被独立地输入到VAE中，以推断语料级别的话题-词分布。本质上，IATM在VAE的基础上整合了表示学习和社会上下文。
虽然前面方法将用户交互嵌入到边表示中，但是VAE假设每个数据点是独立的。因此，在计算潜在语义向量时削弱了用户或帖子之间的相关性。在社交网络中，交互可能意味着的相关关系或兴趣。潜在语义向量对于话题推理是至关重要的。因此将用户间的交互特征整合到潜在语义向量中更为合理。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于消息传递和图先验分布的微博话题检测方法。从用户节点嵌入表示和话题推理两个阶段考虑社交媒体中的用户交互信息。在用户节点嵌入表示阶段，利用图卷积网络学习融合社交网络结构信息和帖子消息内容信息的用户节点嵌入表示，同时将用户的交互关系嵌入用户节点嵌入表示中。在话题推理阶段，引入图先验分布，将交互关系融入到VAE的先验分布中，使得用户的潜在话题向量中包含了交互关系。最终VAE推理得到考虑用户相关性的话题分布，得到连贯性更高的话题。
本发明的目的是通过以下技术方案实现的：
一种基于消息传递和图先验分布的微博话题检测方法，其特征在于，包括以下步骤：
(1)构建用户级社交网络：以用户为网络节点，以交互关系为网络中的边；
(2)通过消息传递机制编码用户交互关系：引入图神经网络，利用消息传递机制，整合社交媒体中帖子的内容信息与结构信息，将用户间的交互关系嵌入到用户节点嵌入表示中；
(3)基于图先验变分自编码器的话题生成：将整合了用户交互关系的用户节点嵌入表示作为输入，将采用标准高斯分布作为先验分布的变分自编码器(VAE)中的标准高斯先验替换为包含用户交互关系的图先验分布，在话题推断过程中考虑用户间的相关性。
进一步的，步骤(1)具体包括：
根据用户之间的转发、评论关系，构建一个用户级的社交网络G＝(V，E，T)；其中，V＝{vi|1≤i≤n}是节点集合，vi代表社交网络中第i个用户，n表示用户数量；E＝{eij|1≤i，j≤n}是边的集合，如果vi所代表的用户i与vj所代表的用户j有交互，则eij＝1；如果vi所代表的用户i与vj所代表的用户j从未交互过，则eij＝0；用户所发表的帖子作为用户节点的属性信息；T＝{t1，t2，...，tn}是帖子的集合，其中每个帖子ti表示第i个用户的帖子的内容；为缓解数据稀疏性，采用基于用户的聚合策略，聚合用户的所有帖子，包括源帖子、转发帖子、回复消息；根据用户之间的交互关系，得到用户级社交网络的邻接矩阵A；根据帖子集和T，将帖子中每个词替换为其对应的词嵌入表示，得到每个用户的属性向量，从而得到社交网络的属性矩阵X；每个词对应的词嵌入表示通过随机初始化得到。
进一步的，步骤(2)具体包括：
使用网络嵌入技术学习用户节点嵌入表示；社交网络中每个帖子都很短而且表达不正式，因此帖子的表示学习十分重要。仅使用词袋(Bag of Words，BoW)向量作为用户节点的表示会面临数据稀疏问题，影响话题推理的性能。根据社会相关性理论，好友间关注的是更相似的内容。因此，通过建模社交网络中的用户交互以缓解数据的稀疏性；考虑图卷积网络GCN聚合周围节点信息的能力，利用图卷积网络GCN对好友间的交互行为进行建模，并学习用户节点嵌入表示；具体来说，该微博话题检测方法采用两层GCN，如下公式所示：
其中I表示对角线矩阵，对角线元素全为1；/>表示邻接矩阵的度矩阵；X代表属性矩阵；W1和W2是图卷积网络的参数；使用ReLU作为激活函数，H2是社交网络中所有用户节点嵌入表示构成的矩阵；
话题检测是一个无监督的方法，所以图卷积网络没有标签用于训练。本微博话题检测方法使用无监督的损失函数，如下公式所示：
给定用户vi，目标是使用户vi与其相关用户节点vj∈Ni的相似度最大化；这里的相关用户节点是指在社交网络中存在边直接相连的一阶邻居集合Ni中的用户节点；在公式(5)中，hi是H2中用户节点i的嵌入表示，hj是H2中用户节点j的嵌入表示，hu是H2中用户节点u的嵌入表示，vu∈V表示社交网络中所有用户节点。
基于GCN的消息传递机制，将一阶邻居用户的相关内容传播到相连的用户属性中，弥补了单个用户的数据稀疏性；同时，相连节点的用户节点嵌入表示之间的相似度更高，进一步保留了社交网络中好友的相关性。
进一步的，步骤(3)具体包括：
步骤(2)将用户之间的交互关系编码到用户节点嵌入表示中，并作为步骤(3)中图先验变分自编码器的输入；采用标准高斯分布作为先验分布的变分自编码器包含编码器和解码器两部分，其中编码器计算话题后验分布的均值和方差，并通过重参数技巧从话题后验分布中采样得到话题向量，经过softmax得到话题分布；每个用户节点嵌入表示再由解码器重构得到；
采用标准高斯分布作为先验分布的变分自编码器能够从独立的长文档中推断出潜在的话题；而对于多用户输入的情况，它假设用户是独立的，这削弱了话题推断过程中用户之间的相关性。VAE中的先验分布采用标准的高斯分布，这导致了数据点的独立性。本微博话题检测方法先构造一个图先验分布来代替标准高斯分布；该图先验分布包含了用户交互关系，使得每个用户的话题向量服从社交网络中用户间对应的交互关系。图先验分布如下公式所示：
其中，zi和zj是用户vi，vj的潜在话题向量，ps(zi)使用标准高斯分布；采用如下形式：
α是超参数，I表示对角线矩阵；基于图先验分布，得出图先验变分自编码器新的变分下界，如下公式所示：
其中，变分分布q(zi，zj|hi，hj)采用如下形式：
其中，μi，μj和是变分分布的均值和方差；cij是zi和zj的相关系数；最终的损失函数的公式如下所示：
从损失函数得到图先验变分自编码器由以下三部分组成：1)一个变分网络，它以用户节点嵌入表示[hi]作为输入，计算均值μi和方差2)相关性编码网络，以成对的用户节点对[hi，hj]作为输入，计算两个用户潜在话题向量的相关系数cij；3)生成网络，与采用标准高斯分布作为先验分布的变分自编码器一样，以潜变量zi为输入重构原始的用户节点嵌入表示得到h′i。总体而言，该方法从用户节点嵌入表示和话题推理两个阶段保留了用户之间的交互，考虑了好友之间的相关性，从而得到更为连贯的话题。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.为缓解社交媒体话题检测中的数据稀疏问题，本发明方法同时考虑帖子文本内容与社交网络结构，整合用户交互关系。将结构信息作为补充，丰富了社交网络中的上下文信息；
2.为引入用户相关性，从用户节点嵌入表示和话题推理两阶段整合用户交互关系。在社交媒体话题检测的全周期内综合考虑用户相关性；
3.在用户节点嵌入表示阶段，利用图卷积网络的消息传递机制，一方面可以聚合每个用户周围好友用户的信息，缓解稀疏性；另一方面可以将社交网络结构整合到用户节点嵌入表示中，在用户节点嵌入表示中保留用户交互关系；
4.在话题推理阶段，使用基于图先验的变分自编码器进行话题推理。与传统的变分自编码器VAE不同的是，本发明方法利用图先验分布代替标准高斯分布。图先验分布将用户交互考虑进来，用户的潜在话题向量服从用户之间的交互结构。最终推断的话题具有更好的连贯性。
5.在三个月的新浪微博数据集的实验结果充分表明本发明方法的有效性，并证明了引入图先验分布对于微博话题挖掘的有效性。
附图说明
图1是本发明方法的流程示意图
图2a是使用标准高斯分布作为先验的标准变分自编码器推断的话题向量可视化图；图2b是使用图先验的变分自编码器推断的话题向量可视化图。
图3是具体实施方式中评价指标话题连贯性随图先验分布的参数α的变化情况。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以3个月的真实微博数据集为例给出本发明的具体实施方法。整个***算法流程构建用户级社交网络、基于消息传递的用户节点嵌入表示、基于图先验变分自编码器的话题生成的三个步骤，见图1。具体步骤如下：
S1.构建用户级社交网络：
前人工作在新浪微博上收集了2014年5月、6月和7月三个月份的涵盖50个热门话题的相关微博。本实施例以该微博语料为基础，构建用户级的社交网络。具体步骤包括：1)过滤没有转发或评论关系的用户；2)将用户的所有帖子都拼接在一起，作为该用户的属性信息；3)根据用户之间的交互关系，若两个用户之间存在交互关系，则两个用户节点之间存在边，相反则不存在。用户的帖子文本作为社交网络中用户节点的属性信息。
表1展示了三个月数据集的统计信息，具体如下：5月数据集共包括8907个用户，10435次交互，词表大小为5914；6月数据集共包括19293个用户，35962次交互，词表大小为9368；7月数据集共包括16990个用户，20971次交互，词表大小为9663。
表1微博数据集统计信息
S2.基于消息传递的用户节点嵌入表示：
仅使用词袋(Bag of Words，BoW)向量作为用户节点的表示会面临数据稀疏问题，影响话题推理的性能。因为每个帖子都很短并且表达不正式，因此社交网络中帖子的表示学习十分重要。考虑到图卷积网络聚合周围节点信息的能力，利用两层GCN对好友间的交互行为进行建模，并学习用户节点嵌入表示。基于GCN的消息传递机制，将邻居用户的相关内容传播到相连的用户属性中，弥补了单个用户的数据稀疏性。同时，相连节点的用户节点嵌入表示之间的相似度更高，进一步保留了社交网络中好友的相关性。该步骤的损失函数如下公式所示：
S3.基于图先验变分自编码器的话题生成：
以用户节点嵌入表示作为输入，利用变分自编码器推断话题。变分自编码器包含编码器和解码器两部分，其中编码器计算话题后验分布的均值和方差，如下公式所示：
μi＝MLP(hi)
其中，hi表示第i个用户节点嵌入表示，μi，分别表示均值与方差。MLP代表多层感知机(Multi-Layer Perceptron，MLP)。通过重参数技巧zi＝μi+∈*σi可以从后验分布中采样得到潜在话题向量zi。话题分布θ＝(p(t1|h)，p(t2|h)，...，p(tk|h))可以通过softmax函数得到：
θi＝softmax(zi)
其中，h代表输入的用户表示，t1表示第一个话题，p(t1|h)表示出现第一个话题的概率。K代表话题总数。每个用户节点嵌入表示再由解码器网络重构得到，解码器也选择MLP。解码器的参数W即为语料库的话题-词分布φword＝(p(w|t1)，p(w|t2)，...，p(w|tK))。具体公式如下：
di＝softmax(θiW)
h′i＝f(Wddi+bd)
其中，p(w|t1)代表第一个话题下各个词出现的概率。di代表每个用户节点的属性信息中出现各个词的概率值。Wd表示神经网络的参数，bd表示神经网络的偏差。h′i表示解码器重构的用户节点嵌入表示。
以标准高斯分布为先验分布的变分自编码器可以从独立的长文档中推断出潜在的话题。而对于多用户输入的情况，它假设用户是独立的，这削弱了话题推断过程中用户之间的相关性。本发明先构造一个图先验分布来代替标准高斯。该先验分布包含了用户交互关系，使得每个用户的话题向量服从社交网络中用户间的对应关系。然后根据新的变分下界计算损失函数，具体的损失函数的公式如下：
公式中符号的含义如前文所述。
在具体实施过程中，首先对每个用户节点的帖子文本进行预处理。经过聚合，每个用户的帖子文本将包含50个单词。随机初始化单词嵌入并将其维数设置为200。在GCN中，隐藏层的维数设置为200。在变分自编码器中，第一层编码器的维数设置为200。学习率设置为0.001。本方法在GCN和相关VAE中都采用了dropout以避免过拟合。Adam用于优化各模块的损失函数。
为了验证本发明方法的有效性，将本发明方法(MGTM)与当前先进并具有代表性的方法(BAT[1]、BTM[2]、LCTM[3]、LeadLDA[4]、AdjEnc[5]、IATM[6])以及本发明方法的变体(MGTM(Standard Gaussian))进行比较。
BAT探索了双向对抗训练在神经话题模型中的应用。它是为长文档设计的，在应用于短文本时面临严重的数据稀疏问题。
BTM通过直接建模整个语料库中词对的生成来学习话题。
LCTM通过建模潜在概念的共现模式来揭示话题，这些潜在概念用来捕获词汇的概念相似性。
LeadLDA将帖子区分为领导者帖子和跟随者帖子，并认为到领导者信息和跟随者帖子包含关键话题词的不同程度。
AdjEnc在学术论文、网页等结构化长文档中将网络结构引入了话题推理。
IATM建模了用户的动态交互，以学习交互感知的边嵌入，利用神经变分推理生成话题。
MGTM(Standard Gaussian)退化为标准高斯分布作为先验，验证图先验分布的作用。
模型性能的评价指标采用话题连贯性(topic coherence)，公式如下：
表2，3，4分别展示了本方法和所有比较方法在三个月微博数据集上的话题连贯性结果。对每个数据集，分别记录了话题数K＝50，100时所推断话题的前10(N＝10)，15(N＝15)，20(N＝20)个词的连贯性得分。话题连贯性越高表示该模型性能越好。
表2本发明方法与比较方法在5月数据集上的性能比较
表3本发明方法与比较方法在6月数据集上的性能比较
表4本发明方法与比较方法在7月数据集上的性能比较
从表2，3，4的话题连贯性结果可以看出，在用户节点嵌入表示和话题推理两阶段建模用户的交互关系可以使话题嵌入一定的用户相关性，话题连贯性得到了进一步的提升。为了研究图先验分布是否对用户潜在话题向量保存用户交互关系有提升，图2a和图2b展示了潜在话题向量的可视化图像。其中图2a是使用标准高斯分布作为先验的变分自编码器推断的话题向量；图2b是图先验变分自编码器推断的话题向量。可以看到在圆圈标注的部分，本发明方法可以得到聚合性更好的用户话题向量。为了进一步研究图先验分布中参数α对话题连贯性的影响，图3展示了本发明方法在三个月的微博数据集上话题连贯性分数与参数α的相关变化。
以上内容旨在示意性地说明本发明的技术方案，本发明并不限于上文描述的实施方式。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
参考文献：
[1]Rui Wang，Xuemeng Hu，Deyu Zhou，Yulan He，Yuxuan Xiong，Chenchen Ye，and Haiyang Xu.2020.Neural Topic Modeling with Bidirectional AdversarialTraining.In Proceedings of the 58th Annual Meeting of the Association forComputational Linguistics.340-350.
[2]Xiaohui Yan，Jiafeng Guo，Yanyan Lan，and Xueqi Cheng.2013.A bitermtopic model for short texts.In In Proceedings of the 22nd internationalconference on World Wide Web.ACM.1445-1456.
[3]Weihua Hu and Jun’ichi Tsujii.2016.A Latent Concept Topic Modelfor Robust Topic Inference Using Word Embeddings.In Proceedings of the 54thAnnual Meeting of the Association for Computational Linguistics(Volume 2：Short Papers).380-386.
[4]Jing Li，Ming Liao，Wei Gao，Yulan He，and Kam-Fai Wong.2016.TopicExtraction from Microblog Posts Using Conversation Structures.In Proceedingsof the 54th Annual Meeting of the Association for Computational Linguistics(Volume 1：Long Papers).2114-2123.
[5]Ce Zhang and Hady W.Lauw.2020.Topic Modeling on Document Networkswith Adjacent-Encoder.Proceedings of the AAAI Conference on ArtificialIntelligence 34，04(2020)，6737-6745.
[6]Ruifang He，Xuefei Zhang，Di Jin，Longbiao Wang，Jianwu Dang，andXiangang Li.2018.Interaction-Aware Topic Model for Microblog Conversationsthrough Network Embedding and User Attention.In Proceedings of the 27thInternational Conference on Computational Linguistics.1398-1409.
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (2)

1.一种基于消息传递和图先验分布的微博话题检测方法，其特征在于，包括以下步骤：
(1)构建用户级社交网络：以用户为网络节点，以交互关系为网络中的边；
(2)通过消息传递机制编码用户交互关系：引入图神经网络，利用消息传递机制，整合社交媒体中帖子的内容信息与结构信息，将用户间的交互关系嵌入到用户节点嵌入表示中；具体包括：
使用网络嵌入技术学习用户节点嵌入表示；通过建模社交网络中的用户交互以缓解数据的稀疏性；考虑图卷积网络GCN聚合周围节点信息的能力，利用图卷积网络GCN对好友间的交互行为进行建模，并学习用户节点嵌入表示；具体来说，该微博话题检测方法采用两层GCN，如下公式所示：
其中I表示对角线矩阵，对角线元素全为1；/>表示邻接矩阵的度矩阵；X代表属性矩阵；W1和W2是图卷积网络的参数；使用ReLU作为激活函数，H2是社交网络中所有用户节点嵌入表示构成的矩阵；
本微博话题检测方法使用无监督的损失函数，如下公式所示：
给定用户vi，目标是使用户vi与其相关用户节点vj∈Ni的相似度最大化；这里的相关用户节点是指在社交网络中存在边直接相连的一阶邻居集合Ni中的用户节点；在公式(5)中，hi是H2中用户节点i的嵌入表示，hj是H2中用户节点j的嵌入表示,hu是H2中用户节点u的嵌入表示,vu∈V表示社交网络中所有用户节点；
基于GCN的消息传递机制，将一阶邻居用户的相关内容传播到相连的用户属性中，弥补了单个用户的数据稀疏性；同时，相连节点的用户节点嵌入表示之间的相似度更高，进一步保留了社交网络中好友的相关性；
(3)基于图先验变分自编码器的话题生成：将整合了用户交互关系的用户节点嵌入表示作为输入，将采用标准高斯分布作为先验分布的变分自编码器(VAE)中的标准高斯先验替换为包含用户交互关系的图先验分布，在话题推断过程中考虑用户间的相关性；具体包括：
步骤(2)将用户之间的交互关系编码到用户节点嵌入表示中，并作为步骤(3)中图先验变分自编码器的输入；采用标准高斯分布作为先验分布的变分自编码器包含编码器和解码器两部分，其中编码器计算话题后验分布的均值和方差，并通过重参数技巧从话题后验分布中采样得到话题向量，经过softmax得到话题分布；每个用户节点嵌入表示再由解码器重构得到；
本微博话题检测方法先构造一个图先验分布来代替标准高斯分布；该图先验分布包含了用户交互关系，使得每个用户的话题向量服从社交网络中用户间对应的交互关系；图先验分布如下公式所示：
其中，zi和zj是用户vi,vj的潜在话题向量，ps(zi)是单态边缘分布，此处使用标准高斯分布；是双态边缘分布，采用如下形式：
α是超参数，I表示对角线矩阵；基于图先验分布，得出图先验变分自编码器新的变分下界，如下公式所示：
其中，变分分布q(zi,zj|hi,hj)采用如下形式：
其中，μi，μj和是变分分布的均值和方差；cij是zi和zj的相关系数；最终的损失函数的公式如下所示：
从损失函数得到图先验变分自编码器由以下三部分组成：1)一个变分网络，它以用户节点嵌入表示[hi]作为输入，计算均值μi和方差2)相关性编码网络，以成对的用户节点对[hi,hj]作为输入，计算两个用户潜在话题向量的相关系数cij；3)生成网络，与采用标准高斯分布作为先验分布的变分自编码器一样，以潜变量zi为输入重构原始的用户节点嵌入表示得到h′ i。
2.根据权利要求1所述一种基于消息传递和图先验分布的微博话题检测方法，其特征在于，步骤(1)具体包括：
根据用户之间的转发、评论关系，构建一个用户级的社交网络G＝(V,E,T)；其中，V＝{vi|1≤i≤n}是节点集合，vi代表社交网络中第i个用户，n表示用户数量；E＝{eij|1≤i,j≤n}是边的集合，如果vi所代表的用户i与vj所代表的用户j有交互，则eij＝1；如果vi所代表的用户i与vj所代表的用户j从未交互过，则eij＝0；用户所发表的帖子作为用户节点的属性信息；T＝{t1,t2,…,tn}是帖子的集合，其中每个帖子ti表示第i个用户的帖子的内容；为缓解数据稀疏性，采用基于用户的聚合策略，聚合用户的所有帖子，包括源帖子、转发帖子、回复消息；根据用户之间的交互关系，得到用户级社交网络的邻接矩阵A；根据帖子集和T，将帖子中每个词替换为其对应的词嵌入表示，得到每个用户的属性向量，从而得到社交网络的属性矩阵X；每个词对应的词嵌入表示通过随机初始化得到。
CN202111052898.3A 2021-09-07 2021-09-07 一种基于消息传递和图先验分布的微博话题检测方法 Active CN113870041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111052898.3A CN113870041B (zh) 2021-09-07 2021-09-07 一种基于消息传递和图先验分布的微博话题检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111052898.3A CN113870041B (zh) 2021-09-07 2021-09-07 一种基于消息传递和图先验分布的微博话题检测方法

Publications (2)

Publication Number Publication Date
CN113870041A CN113870041A (zh) 2021-12-31
CN113870041B true CN113870041B (zh) 2024-05-24

Family

ID=78995057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111052898.3A Active CN113870041B (zh) 2021-09-07 2021-09-07 一种基于消息传递和图先验分布的微博话题检测方法

Country Status (1)

Country Link
CN (1) CN113870041B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232434A (zh) * 2019-04-28 2019-09-13 吉林大学 一种基于属性图优化的神经网络架构评估方法
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN112364161A (zh) * 2020-09-25 2021-02-12 天津大学 基于异构社会媒体用户动态行为的微博主题挖掘方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552613B2 (en) * 2014-01-27 2017-01-24 Facebook, Inc. Label inference in a social network
US11568266B2 (en) * 2019-03-15 2023-01-31 Baidu Usa Llc Systems and methods for mutual learning for topic discovery and word embedding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232434A (zh) * 2019-04-28 2019-09-13 吉林大学 一种基于属性图优化的神经网络架构评估方法
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN112364161A (zh) * 2020-09-25 2021-02-12 天津大学 基于异构社会媒体用户动态行为的微博主题挖掘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈静 ; 刘琰 ; 王煦中.基于概率生成模型的微博话题传播群体划分方法.计算机科学.43(8),全文. *
鲁骁 ; 李鹏 ; 王斌 ; 李应博 ; 房婧.一种基于用户互动话题的微博推荐算法.中文信息学报.30(3),全文. *

Also Published As

Publication number Publication date
CN113870041A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
Cambria et al. Benchmarking multimodal sentiment analysis
CN109033069B (zh) 一种基于社会媒体用户动态行为的微博主题挖掘方法
CN112364161B (zh) 基于异构社会媒体用户动态行为的微博主题挖掘方法
Chen et al. Visual and textual sentiment analysis using deep fusion convolutional neural networks
Liu et al. Sentiment recognition for short annotated GIFs using visual-textual fusion
Malekzadeh et al. Honest-but-curious nets: Sensitive attributes of private inputs can be secretly coded into the classifiers' outputs
CN113094596A (zh) 一种基于双向传播图的多任务谣言检测方法
Hrga et al. Deep image captioning: An overview
CN113870040B (zh) 融合不同传播模式的双流图卷积网络微博话题检测方法
Chang et al. Emotion-infused deep neural network for emotionally resonant conversation
Feng et al. Tailored text augmentation for sentiment analysis
CN112199607A (zh) 基于可变邻域内平行社交上下文融合的微博主题挖掘方法
Liang et al. Factorized contrastive learning: Going beyond multi-view redundancy
Wang et al. Multimodal graph convolutional networks for high quality content recognition
Das A multimodal approach to sarcasm detection on social media
Liu et al. Visual affective classification by combining visual and text features
Biswas et al. A new ontology-based multimodal classification system for social media images of personality traits
CN113870041B (zh) 一种基于消息传递和图先验分布的微博话题检测方法
Bhardwaj Sentiment Analysis and Text Classification for Social Media Contents Using Machine Learning Techniques
Zhang et al. Simre: Simple contrastive learning with soft logical rule for knowledge graph embedding
Sajinika et al. Twitter Sentiment Analysis and Topic Modeling for Online Learning
Deng et al. A depression tendency detection model fusing weibo content and user behavior
Zeng et al. Event-driven network for cross-modal retrieval
Khlyzova et al. On the complementarity of images and text for the expression of emotions in social media
CN113111267A (zh) 一种基于双向传播图的多任务谣言检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant