CN114298851A - 基于图表征学习的网络用户社交行为分析方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种基于图表征学习的网络用户社交行为分析方法、装置及存储介质，方法包括：获取待预测社交网络的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵，输入预先训练的图神经网络模型，得到图神经网络模型的输出；根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。本发明从提取用户特征与图结构特征的角度出发，运用图嵌入方法对用户的局部网络进行特征提取，能够更准确的了解用户偏好和网络信息传播模式，从而能够更准确的预测社交网络用户的行为。

Description

基于图表征学习的网络用户社交行为分析方法、装置及存储 介质

技术领域

本发明属于信息传播分析技术领域，涉及深度学习、表征学习、图神经网络、图特征提取，特别是一种基于图表征学习的网络用户社交行为分析方法及装置。

背景技术

通过社交网络分享信息已经成为人们日常生活中不可缺少的一个环节，故如何有效地预测信息传播的影响力成为了社交网络研究中的重要课题。不论是识别病毒式营销和虚假新闻还是精确推荐和在线广告都有着许多应用。目前，一些应用深度学习进行社交网络影响力预测的方法已经取得了一定进展，但在进行深度学习时仍会面临以下难点：用户通常具有不同的行为和兴趣，并且他们同时通过不同渠道进行互动；用户之间的关系难以检测和形式化表达。

传统的社交网络影响力预测方法通过设计复杂的规则来手动提取用户及其所处网络的特征信息。然而这一方法的有效性严重依赖于所设置规则的专业性，这就导致了很难将某一领域的规则推广到其他领域的应用中去。

发明内容

本发明的目的是提供一种基于图表征学习的网络用户社交行为分析方法、装置及存储介质，基于对社交网络模型隐藏参数的学习，更准确的了解用户偏好和网络信息传播模式，从而能够更准确的预测社交网络用户的行为。本发明采用的技术方案如下。

一方面，本发明提供一种基于图表征学习的网络用户社交行为分析方法，包括：

获取待预测社交网络的网络信息；

基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；

将提取得到的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

可选的，所述社交网络的网络信息包括社交网络中的用户之间的网络连接关系信息。

可选的，用图G＝(V，E)表示网络信息获取时刻的静态网络，其中，V表示用户的集合，E表示用户间关系集合；对于用户v∈V，其“r-邻居”表示为顶点集：

其中d(u，v)表示两用户节点u和v之间的最短路径长度，r为预设的距离阈值；用户v的“r-自我中心网络”为由顶点集

在图G＝(V，E)中推导得到的子图，记为

用

表示用户v在时刻t是否做出特定社交行为，若是则

若否则

表示用户v的自我中心网络中，所有邻居节点的社交行为状态集合；

所述利用图表征学习方法提取社交网络中用户的特征矩阵以及表示社交网络结构信息的邻接矩阵，包括：

根据获取到的网络信息中用户之间的连接关系，构造邻接矩阵A∈R^V×V：若网络中两个用户之间相连，则矩阵中对应位置的值为1，否则为0；

采用带重启动的随机游走方法对各用户所处的局部网络进行采样，得到局部网络节点集合

n为预设的访问节点数量阈值；

由

推导得到表示节点v所处局部网络的子图

则相应的社交行为状态集合为

对各用户节点分别提取社交影响上下文，输入至node2vec模型，得到用户节点的隐藏表征向量x_u∈R^D；

利用所有用户的隐藏表征向量构造用户特征矩阵X∈R^D×V，X的每一列分别对应每个用户的表征向量。

可选的，所述采用带重启动的随机游走方法对各用户所处的局部网络进行采样，包括：

从起始节点开始，随机访问当前节点的相邻节点，按照设定的访问节点数量阈值，以设定的起始节点访问概率进行当前节点对下一相邻节点的随机访问迭代；

将全部已访问的网络节点记入局部网络节点集合

在局部网络采样过程中，除起始节点外，每次迭代的随机访问均存在一定的概率回到起始节点。

可选的，方法还包括：对用户节点的隐藏表征向量进行正则化处理，正则化处理公式为：

其中，D表示用户节点的数量，y_ud为处理后的用户节点表征向量，μ_d和σ_d分别为表征矩阵的平均值和标准差，ε是用于维护数值稳定性的定值，且有：

可选的，所述图表征学习模型采用三层图卷积神经网络，前两个图卷积层分别包含128个隐藏元，输出层为2个隐藏元，每层中激活函数为指数线性单元ELU，模型训练前使用Glorot初始化方法对神经网络中参数进行初始化；模型训练过程中使用Adagrad优化器进行优化；训练过程的学习率设为1e^-2，权值衰减设为5e^-4，丢失率设为2e^-1。

可选的，所述图表征学习模型的图卷积操作被定义为傅里叶频域计算图拉普拉斯的特征值分解；

每个图卷积神经网络层在前向传播过程都接受一个矩阵H∈R^n×F，其中n表示节点的数量，F表示节点特征数量，H的每一行

代表一个顶点的特征向量；每一个图卷积神经网络层的输出为H′∈R^n×F’，按照下式计算：

H′＝GCN(H)＝g(A_GCN(G)HW^T+b)

其中，W∈R^F×F′，b∈R^F′为模型参数，g为非线性激活函数，A_GCN(G)为标准化图拉普拉斯矩阵。

第二方面，本发明提供一种基于图表征学习的网络用户社交行为分析装置，包括：

网络信息获取模块，被配置用于获取待预测社交网络的网络信息；

特征提取模块，被配置用于基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；

用户行为预测模块，被配置用于将提取得到的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

以及，用户行为确定模块，被配置用于根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

可选的，特征提取模块提取得到的用户的特征矩阵以及表示社交网络结构信息的邻接矩阵包括用户的隐藏表征向量数据；网络用户社交行为分析装置还包括正则化处理模块，其被配置用于对用户节点的隐藏表征向量进行正则化处理。

第三方面，本发明提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理执行时实现如第一方面所述的基于图表征学习的网络用户社交行为分析方法。

有益效果

本发明基于图表征学习的社交网络影响力预测方法，基于图嵌入方法与深度学习、图卷积神经网络，从提取用户特征与图结构特征的角度出发，运用图嵌入方法对用户的局部网络进行特征提取，在模型训练阶段利用图神经网络学习社交网络模型的隐藏参数，从而在实际应用时能够更全面的了解用户偏好和信息传播模式，实现社交网络影响力预测。由于在模型训练阶段和预测阶段分别提取了用户本身的属性特征与所处社交网络的结构特征，因此图神经网络模型的输入信息更加全面，能够有效提升社交网络影响力预测的准确度。

附图说明

图1所示为本发明基于图表征学习的社交网络影响力预测方法的一种实施例流程示意图。

具体实施方式

以下结合附图和具体实施例进一步描述。

本发明的技术构思为：基于深度神经网络模型，设计一种端到端的神经网络来学习社交网络用户的隐藏特征信息，以预测其社交网络影响力，包括：首先通过图表征学习方法对已知用户行为标签的用户局部网络进行特征提取，然后将提取到的特征向量作为输入对图神经网络进行训练，在实际应用时，同样对待预测的社交网络进行特征提取，进而利用训练好的图神经网络对用户的社会表征进行预测。

实施例1

本实施例介绍一种基于图表征学习的网络用户社交行为分析方法，包括：

获取待预测社交网络的网络信息；

基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；

将提取得到的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

如图1所示，本实施例在利用图表征学习方法提取特征矩阵后，还对特征矩阵数据进行正则化处理。

本实施例具体涉及以下内容。

一、原始网络信息处理

在图神经网络模型的训练及实际应用时的预测阶段，均需要对社交网络进行网络信息的获取，并利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵。

对于用于图神经网络模型训练的样本来说，原始的网络信息包括用户节点标签与节点之间的关系，用户节点标签表征了已知的用户后续特定行为。对于待预测的社交网络来说，原始网络信息包括社交用户节点之间的关系。

图表征学习时，对每个用户节点，提取其所处的中心网络，进行随机游走采样生成其社交影响上下文，可以得到整个社交网络的邻接矩阵。

将某时刻的社交网络G＝(V,E)视为静态网络，V表示用户的集合，E表示用户间的关系集合。对于用户v，其“r-邻居”被定义为：

其中d(u,v)表示两节点之间的最短路径长度，r表示两个节点之间的最长距离，该参量的作用是控制子图的规模。用户v的“r-自我中心网络”被定义为由顶点集

在图中推导得到的子图，记为

表示用户v在时刻t是否做出特定社交行为，若做过

否则

表示这些社交行为状态的集合。

利用图表征学习方法提取社交网络中用户的特征矩阵以及表示社交网络结构信息的邻接矩阵，包括：

根据获取到的网络信息中用户之间的连接关系，构造邻接矩阵A∈R^V×V：若网络中两个用户之间相连，则矩阵中对应位置的值为1，否则为0；

采用带重启动的随机游走方法对各用户所处的局部网络进行采样，初始时，随机选择中心节点与其邻居节点作为起始节点开始随机游走。在每次迭代循环中，当前节点以正相关于边权重的概率随机访问其邻居节点，同时每轮游走开始前有一定概率回到起始节点，直到访问到了一定数量的节点循环停止。可得到由起始节点及被访问节点组成的局部网络节点集合

即该起始节点的社交网络影响上下文，n为预设的访问节点数量阈值。由

推导得到表示节点v所处局部网络的子图

则相应的社交行为状态集合为

每个用户所处的局部网络信息与新的预测概率的表达式为：

基于所有用户的社交网络影响上下文，进行图表征生成模型的训练，确定图表征生成模型的模型参数，进而利用模型参数确定后的图表征生成模型，得到用户特征矩阵和邻接矩阵。

具体过程包括：

1)设置参数p、q、l，p、q为随机游走时计算到相邻节点概率的参数，l为采样的节点序列长度。

2)从起始节点i开始，采用如下策略计算访问相邻节点的概率：假设已依次访问节点s、v，当前节点为v。则访问v的相邻节点u的概率p(v,u)为：

由该策略不断对节点进行采样，直到节点序列的长度达到l，记为该起始节点i的社交影响上下文z_i。节点i的上下文z_i中的其他节点j也对应着其上下文z_j，则i的节点序列中的其他节点对应的向量的集合记为N(z_i)。

3)构造一个多层感知器，输入为社交影响上下文z，前向传播计算如下：

z₁＝W₁z+b₁

z₂＝W₂z₁+b₂

z₃＝softmax(z₂)

其中|z₃|＝|z_i|，z₃中的每一项分别对应P(z_j|z_i)；

图表征模型参数优化的目标函数为：

根据上述目标函数以及所有用户节点的社交影响上下文，可以得到图表征模型W₁z_i+b₁中的模型参数W₁和b₁，然后可将各用户节点的社交影响上下文输入已训练的图表征模型node2vec，得到用户节点的隐藏表征向量x_u∈R^D

对各用户节点分别提取社交影响上下文，输入至模型，；

利用所有用户的隐藏表征向量构造用户特征矩阵X∈R^D×V，X的每一列分别对应每个用户的表征向量。

二、正则化处理

为了避免在后续模型训练时产生过拟合问题，使用正则化表示消除实例指定的平均值与标准差，使得下游模型更加关注用户在隐藏表征空间中的相对位置而非绝对位置。

对每一个用户

的表征x_u，根据如下计算获得新的表征向量y_u：

其中，D表示用户节点的数量，y_ud为处理后的用户节点表征向量，μ_d和σ_d分别是表征矩阵的平均值与标准差，ε是用来维护数值稳定性的定值：

三、图神经网络模型的训练和预测

1、模型的构建和训练

为了在图结构数据中使用卷积方法，本发明将图卷积操作定义为傅里叶频域计算图拉普拉斯的特征值分解，如下公式：

L＝I_N-D^-1/2AD^-1/2＝UΛU^T

U是来自于标准化图拉普拉斯矩阵的特征向量矩阵，D是度矩阵，A是图的邻接矩阵，Λ是以邻接矩阵A的特征值为对角线上值的对角矩阵。根据特征向量矩阵定义卷积核g_θ＝diag(θ)(表示一个对角矩阵，对角上的元素为待训练的参数)对输入x∈RN的卷积操作：

y_output＝σ(U(g_θΛ)U^Tx)

对于模型中每个图卷积神经网络层，在前向传播过程都会接受一个矩阵H∈R^n×F，其中n表示节点的数量，F表示节点特征数量，H的每一行

都代表了一个顶点的特征向量。每一层的输出为H′∈R^n×F’，其计算过程如下：

H′＝GCN(H)＝g(A_GCN(G)HW^T+b)

其中W∈R^F×F′，b∈R^F′为模型参数，g为非线性激活函数，A_GCN(G)为标准化图拉普拉斯矩阵。

在模型训练过程中，本实施例将社交行为定义为一个二元变量(0或1，0代表为发生特定社交行为，1代表发生了特定社交行为)，故社交网络影响力预测问题可转化为二元图分类问题；

选择最小化负对数似然函数作为模型的优化目标，优化模型参数，进而可解决该二元图分类问题。优化目标函数表示为：

本实施例的图神经网络模型采用三层图卷积神经网络层构建模型，前两层每层都包含128个隐藏元，最后一层为输出层，其包含2个隐藏元；每层中激活函数为指数线性单元ELU。

开始模型训练前，使用Glorot初始化方法对神经网络中参数进行初始化；模型训练过程中使用Adagrad优化器进行优化；学习率设为1e^-2，权值衰减设为5e^-4，丢失率设为2e^-1。

2.用户社交行为预测

在实际应用中，提取待预测的社交网络中的结构信息，并通过图表征学习将用户的特征矩阵和邻接矩阵提取出来，输入到前述训练好的图神经网络模型后，模型即利用图卷积方法层层提取特征，最终输出每位用户做出特定社交行为的概率作为预测结果。

实施例2

本实施例介绍一种基于图表征学习的网络用户社交行为分析装置，包括：

网络信息获取模块，被配置用于获取待预测社交网络的网络信息；

特征提取模块，被配置用于基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；其中，所提取得到的用户的特征矩阵以及表示社交网络结构信息的邻接矩阵包括用户的隐藏表征向量数据；

正则化处理模块，被配置用于对用户节点的隐藏表征向量进行正则化处理；

用户行为预测模块，被配置用于将正则化处理后的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

以及，用户行为确定模块，被配置用于根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

以上各功能模块的具体功能实现参考实施例1中方法的相关内容。

实施例3

本实施例介绍一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理执行时实现如实施例1所述的基于图表征学习的网络用户社交行为分析方法的步骤。

综上，本发明通过运用图卷积和图关注方法，能够将社交网络中用户的特征属性和其所处局域网络特征相结合，大大提高模型预测的精度；通过在推特、微博、开放知识图谱等数据集上的大量实验，显示了这一方法在不同类型的网络中都有较好的表现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于图表征学习的网络用户社交行为分析方法，其特征是，包括：

获取待预测社交网络的网络信息；

基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；

将提取得到的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

2.根据权利要求1所述的方法，其特征是，所述社交网络的网络信息包括社交网络中的用户之间的网络连接关系信息。

3.根据权利要求1或2所述的方法，其特征是，用图G＝(V,E)表示网络信息获取时刻的静态网络，其中，V表示用户的集合，E表示用户间关系集合；对于用户v∈V，其“r-邻居”表示为顶点集：

其中d(u,v)表示两用户节点u和v之间的最短路径长度，r为预设的距离阈值；用户v的“r-自我中心网络”为由顶点集

在图G＝(V,E)中推导得到的子图，记为

用

表示用户v在时刻t是否做出特定社交行为，若是则

若否则

表示用户v的自我中心网络中，所有邻居节点的社交行为状态集合；

所述利用图表征学习方法提取社交网络中用户的特征矩阵以及表示社交网络结构信息的邻接矩阵，包括：

根据获取到的网络信息中用户之间的连接关系，构造邻接矩阵A∈R^V×V：若网络中两个用户之间相连，则矩阵中对应位置的值为1，否则为0；

采用带重启动的随机游走方法对各用户所处的局部网络进行采样，得到局部网络节点集合

n为预设的访问节点数量阈值；

由

推导得到表示节点v所处局部网络的子图

则相应的社交行为状态集合为

对各用户节点分别提取社交影响上下文，输入至node2vec模型，得到用户节点的隐藏表征向量x_u∈R^D；

利用所有用户的隐藏表征向量构造用户特征矩阵X∈R^D×V，X的每一列分别对应每个用户的表征向量。

4.根据权利要求3所述的方法，其特征是，所述采用带重启动的随机游走方法对各用户所处的局部网络进行采样，包括：

从起始节点开始，随机访问当前节点的相邻节点，按照设定的访问节点数量阈值，以设定的起始节点访问概率进行当前节点对下一相邻节点的随机访问迭代；

将全部已访问的网络节点记入局部网络节点集合

5.根据权利要求3所述的方法，其特征是，还包括：对用户节点的隐藏表征向量进行正则化处理，正则化处理公式为：

其中，D表示用户节点的数量，y_ud为处理后的用户节点表征向量，μ_d和σ_d分别为表征矩阵的平均值和标准差，ε是用于维护数值稳定性的定值，且有：

6.根据权利要求1所述的方法，其特征是，所述图表征学习模型采用三层图卷积神经网络，前两个图卷积层分别包含128个隐藏元，输出层为2个隐藏元，每层中激活函数为指数线性单元ELU，模型训练前使用Glorot初始化方法对神经网络中参数进行初始化；模型训练过程中使用Adagrad优化器进行优化；训练过程的学习率设为1e^-2，权值衰减设为5e^-4，丢失率设为2e^-1。

7.根据权利要求1所述的方法，其特征是，所述图表征学习模型的图卷积操作被定义为傅里叶频域计算图拉普拉斯的特征值分解；

每个图卷积神经网络层在前向传播过程都接受一个矩阵H∈R^n×F，其中n表示节点的数量，F表示节点特征数量，H的每一行

代表一个顶点的特征向量；每一个图卷积神经网络层的输出为H′∈R^n×F’，按照下式计算：

H′＝GCN(H)＝g(A_GCN(G)HW^T+b)

其中，W∈R^F×F′,b∈R^F′为模型参数，GCN(*)表示图卷积操作，g为非线性激活函数，A_GCN(G)为标准化图拉普拉斯矩阵。

8.一种基于图表征学习的网络用户社交行为分析装置，其特征是，包括：

网络信息获取模块，被配置用于获取待预测社交网络的网络信息；

特征提取模块，被配置用于基于获取到的网络信息，利用图表征学习方法提取社交网络中用户的特征矩阵，以及表示社交网络结构信息的邻接矩阵；

用户行为预测模块，被配置用于将提取得到的用户特征矩阵和邻接矩阵输入预先训练的图神经网络模型，得到图神经网络模型的输出；

以及，用户行为确定模块，被配置用于根据图神经网络模型的输出确定社交网络中各用户在预测时段的社交行为预测结果；

其中，所述预先训练的图神经网络模型的输出为社交网络中各用户在预测时段做出特定社交行为的概率。

9.根据权利要求8所述的基于图表征学习的网络用户社交行为分析装置，其特征是，特征提取模块提取得到的用户的特征矩阵以及表示社交网络结构信息的邻接矩阵包括用户的隐藏表征向量数据；网络用户社交行为分析装置还包括正则化处理模块，其被配置用于对用户节点的隐藏表征向量进行正则化处理。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理执行时实现如权利要求1-8任一项所述的基于图表征学习的网络用户社交行为分析方法。

Images