CN117994007A - 一种基于多视图融合异质图神经网络的社交推荐方法 - Google Patents

Abstract

本发明公开了一种基于多视图融合异质图神经网络的社交推荐方法，属于社交网络推荐技术领域，包括如下步骤：步骤1、获取社交网络中用户与商品之间的关系，根据用户与商品之间是否存在链接关系建立异质图；步骤2、建立节点视图中的属性拓扑解耦模块，将建立的矩阵输入属性拓扑解耦模块，到节点视图下的用户的嵌入表示；步骤3、建立网络模式视图中的节点编码模块，得到网络模式视图下的用户的嵌入表示；步骤4、建立语义视图中的语义融合模块，得到语义视图下的用户的嵌入表示；步骤5、进行多视角节点表示的融合策略，到用户信息的向量表示，进行个性化的推荐。本发明从三个视角来探索社交网络中的多粒度信息，为用户推荐更准确的商品。

Description

一种基于多视图融合异质图神经网络的社交推荐方法

技术领域

本发明属于社交网络推荐技术领域，具体涉及一种基于多视图融合异质图神经网络的社交推荐方法。

背景技术

社交网络通常呈现出复杂的拓扑结构，包括节点之间的连接方式、节点的度分布以及社区结构等。这些结构可能是稀疏的、密集的，也可能存在着高度的群聚性和小世界特性。在异质图神经网络中，节点可以包含不同类型的属性信息，例如在社交网络中，用户节点可能包含年龄、性别、兴趣爱好等属性，商品节点可能包含价格、类别、销量等属性。通过异质图神经网络，可以有效地将这些多样的属性信息结合起来，用于推荐任务或其他应用中。

在现有技术中，异质图结构学习(HGSL)将用户的属性图、语义图和原始结构图融合在一起，生成更全面的社交网络结构。ie-HGCN直接将社交网络的图数据作为输入，执行多层卷积来学习特定任务的用户节点表示。SR-HGN被精心设计用于学习社交信息网络中的节点表示。它通过在用户和类型级别聚合信息来实现分层学习，从而消除了在语义路径选择中对先验知识的需要。这些现有技术方法常常因为细粒度信息过度耦合和对多粒度信息未充分探索，导致社交网络中用户的分类和聚类效果差强人意。

发明内容

为了解决上述问题，本发明提出了一种基于多视图融合异质图神经网络的社交推荐方法，首先设计了一种属性-拓扑解耦策略，该策略将用户的属性与其拓扑分别进行转换，从而保护了用户的细粒度信息，避免了多源信息在相邻节点之间的传输；同时，设计了一种新的社交网络结构学习策略，通过图级关注来融合不同语义关系下的子图，从而不仅可以识别不同语义的重要性，还可以捕获用户和商品之间的交互。

本发明的技术方案如下：

一种基于多视图融合异质图神经网络的社交推荐方法，包括如下步骤：

步骤1、获取社交网络中用户与商品之间的关系，根据用户与商品之间是否存在链接关系建立异质图；

步骤2、建立节点视图中的属性拓扑解耦模块，将建立的矩阵输入属性拓扑解耦模块，进行特征和拓扑解耦编码，得到节点视图下的节点嵌入表示；

步骤3、建立网络模式视图中的节点编码模块，进行节点编码，得到网络模式视图下的节点嵌入表示；

步骤4、建立语义视图中的语义融合模块，进行语义融合，得到语义视图下的节点嵌入表示；

步骤5、进行多视角节点表示的融合策略，利用拼接策略融合社交网络不同粒度的信息，得到用户信息的向量表示，进行个性化的推荐。

进一步地，所述步骤1的具体过程为：建立的异质图用矩阵表示，/>，代表用户节点总数，对应矩阵的总行数；/>表示商品节点总数，对应矩阵的总列数；矩阵的行代表用户节点，列代表商品节点，如果第/>个用户节点和第/>个商品节点之间存在链接，则矩阵的第/>行第/>列的值设为1，否则为0。

进一步地，所述步骤2的具体过程为：

步骤2.1、将矩阵输入属性拓扑解耦模块，对于一个类型为/>的用户节点/>，通过映射矩阵/>把用户节点/>的属性特征/>投影到公共的维度区间，具体如下：

(1)；

其中，是用户节点/>的投影特征，/>为维度；/>是激活函数；/>代表矢量偏置；

步骤2.2、把用户节点的投影特征/>和拓扑结构/>通过多层感知机编码到公共的维度区间，具体如下：

(2)；

(3)；

其中，是编码后的用户节点/>的属性信息表示；/>是编码后的用户节点/>的拓扑信息表示；/>是多层感知机；

步骤2.3、将两个编码后的表示拼接起来，再通过多层感知机和激活函数将用户和商品的属性信息映射到共享维度，最终得到节点视图下用户节点的嵌入表示/>，具体如下：

(4)；

其中，表示拼接操作。

进一步地，所述步骤3的具体过程为：

设用户节点与其它类型的的节点/>相连，/>、/>、、/>表示不同的节点类型；

将节点级注意力应用于类型的周围邻居中：

(5)；

其中，是用户节点/>连接的类型为/>的邻居节点嵌入表示；/>为用户节点/>连接的类型为/>的邻居节点；/>是邻居节点/>的投影特征；

为类型为/>的邻居节点/>对用户节点/>的注意力，计算如下：

(6)；

其中，为以自然常数e为底的指数函数；/>是激活函数；是类型为/>的节点级注意力向量；/>为转置符号；/>为用户节点/>的信息；/>为拼接符号；

根据公式（5），得到用户节点连接的所有不同类型的邻居节点嵌入表示；

利用类型级别的注意力将所有不同类型的邻居节点嵌入表示融合在一起，以获得网络模式视图下用户节点的嵌入表示/>；公式如下：

(7)；

其中，为类型总数，/>为类型索引。

进一步地，所述步骤4的具体过程为：

步骤4.1、通过语义知识，将原始社交网络划分为不同的图结构，将建模的图数据分解为不同的子模块以学习不同的语义信息；通过图级注意力融合不同语义来作为整合后的社交网络结构，计算如下：

(8)；

其中，为不同语义关系合并后得到的最终关系矩阵；/>表示带有参数/>的图级注意力层，用于为每个交换矩阵分配不同的权重；/>为语义关系/>的矩阵；/>为语义关系/>的矩阵；/>为语义关系/>的矩阵；

步骤4.2、将放入图卷积网络GCN中获取节点表示，计算如下：

(9)；

其中，为语义视图下用户节点/>的嵌入表示；/>为归一化的关系矩阵；/>是用户特征；/>为权重参数。

进一步地，所述步骤5的具体过程为：

将得到的三个视图下的用户节点的嵌入表示拼接在一起，并通过多层感知机得到节点最终的嵌入表示：

(10)；

其中，为用户节点/>的最终嵌入表示，该嵌入表示即为学习到的用户信息表示，然后根据用户的行为和属性信息进行个性化的推荐或者预测用户的喜好。

本发明所带来的有益技术效果：通过对用户的特征和拓扑信息分单独处理，可以解耦由于多源异质信息的消息传递导致的细粒度信息的过度耦合，因此实现了对用户属性信息和拓扑信息单独建模，解耦了用户自身细粒度信息的过度耦合，将该技术应用异质图神经网络模型中，能够提高节点的分类和聚类的性能；设计了三个视角来探索社交网络中的多粒度信息，通过节点视角来实现用户自身细粒度信息的抽取，通过网络模式视角实现对用户周围邻居的拓扑信息提取，通过语义视角实现对用户高阶异质信息的捕获，进而实现了对社交网络中多粒度信息的探索。本发明利用异质图神经网络能够同时学习用户和商品之间的简单拓扑结构和复杂语义关系，通过拼接策略实现不同信息的融合，从而提高了用户分类和聚类的准确性,进而为用户推荐更准确的商品。

附图说明

图1为本发明基于多视图融合异质图神经网络的社交推荐方法流程图。

图2为本发明模型与其他模型复杂性对比结果示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

本发明以社交网络为研究对象，提高社交网络中用户的分类和聚类为核心目标，需要解决的关键技术问题包括：第一：用户的属性信息是耦合的。第二：未充分挖掘社交网络的多粒度信息。解决这两个方面的问题能够完成对复杂的社交网络的建模。

因此，本发明要解决的具体关键问题是：

关键技术问题1：用户的属性信息是耦合的；

本发明设计了节点视角和网络模式视角来解耦了异构性导致的用户和商品之间的纠缠。具体来说，节点视图分别为用户的属性和解耦信息建模，以获取用户的细粒度信息。网络模式视图通过对用户周围邻域的商品属性和结构信息建模，获取用户的局部拓扑信息。

关键技术问题2：未充分挖掘的社交网络中多粒度信息；

本发明设计了节点视角、网络模式视角和语义视角三个视角来学习不同的语义信息，挖掘社交网络中用户的不同粒度信息。节点视角解耦学习用户和商品各自的语义结构；网络模式视角学习用户和商品之间的网络模式，语义视角学习用户和商品的复杂语义。通过这三个视角，捕获了社交网络中用户的属性信息和拓扑结构信息，以及高阶异质结构信息，实现了对社交网络中多粒度信息的挖掘。

如图1所示，本发明提出了一种基于多视图融合的异质图神经网络的社交推荐方法，该方法包含以下步骤：

步骤1、获取社交网络中用户与商品之间的关系，根据用户与商品之间是否存在链接关系建立异质图。具体过程为：异质图是一种网络，表示复杂的关系网络。异质图是一种抽象的表示，需要将网络数据建模成矩阵向量的形式，才能把抽象的转化为具体的，才能去应用知识学习。因此，本发明建立的异质图用矩阵表示，/>，/>代表用户节点总数，对应矩阵的总行数；/>表示商品节点总数，对应矩阵的总列数。矩阵的行代表用户节点，列代表商品节点，如果第/>个用户节点和第/>个商品节点之间存在链接，则矩阵的第/>行第列的值设为1，否则为0。

步骤2、建立节点视图中的属性拓扑解耦模块，将建立的矩阵输入属性拓扑解耦模块，进行特征和拓扑解耦编码，得到节点视图下的节点嵌入表示。节点视图分别为用户属性和拓扑建模，以获取细粒度信息。为了避免用户的属性和拓扑过耦合，将异构消息传递拆分为两个模块进行单独处理。在属性-拓扑解耦模块中，仅对用户的属性和相邻拓扑分别进行变换。这样，只保留了用户的细粒度信息，避免了来自相邻结构的多源异构信息的传输。具体过程为：

步骤2.1、将矩阵输入属性拓扑解耦模块。因为社交网络中有不同类型的用户节点，所以用户节点的目标特征通常位于不用的空间中，因此，首先需要将所有类型的用户节点特征投影到一个公共潜在向量空间中，具体来说，对于一个类型为/>的用户节点/>，通过特定类型的映射矩阵/>把用户节点/>的属性特征/>投影到公共的维度区间，具体如下：

(1)；

其中，是用户节点/>的投影特征，/>为维度；/>是激活函数；/>代表矢量偏置。

属性嵌入能够将用户节点的属性信息和拓扑结构信息结合在一起，得到更全面的用户节点表示，这能够使得用户节点嵌入更准确和可靠。

步骤2.2、把用户节点的投影特征/>和拓扑结构/>通过多层感知机（MLP）编码到公共的维度区间，具体如下：

(2)；

(3)；

其中，是编码后的用户节点/>的属性信息表示；/>是编码后的用户节点/>的拓扑信息表示；/>是多层感知机。

步骤2.3、将两个编码后的表示拼接起来，再通过多层感知机和激活函数将用户和商品的属性信息映射到共享维度，最终得到节点视图下用户节点的嵌入表示/>，具体如下：

(4)；

其中，表示拼接操作。

步骤3、建立网络模式视图中的节点编码模块，进行节点编码，得到网络模式视图下的节点嵌入表示。网络模式视图通过对用户周围邻域的属性和结构信息建模，获取用户的局部信息。在网络模式的节点编码模块中，采用两级关注机制聚合用户的信息。具体过程为：

节点编码模块的目标是学习在网络模式下的用户节点嵌入。假设用户节点与其它类型的的节点/>相连，/>、/>、/>、/>表示不同的节点类型，/>为类型总数，/>为类型索引，则用户节点/>连接的类型为/>的邻居节点可以表示为。对于用户节点/>，不同类型的邻居对用户节点的表示贡献不同，同类型的邻居节点的贡献也有区别，因此，采用节点级和类型级注意力机制，以分层的方式聚合从其他类型的邻居到用户节点/>的消息。

具体来说，首先将节点级注意力应用于类型的周围邻居中：

(5)；

其中，是用户节点/>连接的类型为/>的邻居节点嵌入表示；/>为用户节点/>连接的类型为/>的邻居节点；/>是邻居节点/>的投影特征；

为类型为/>的邻居节点/>对用户节点/>的注意力，计算如下：

(6)；

其中，为以自然常数e为底的指数函数；/>是激活函数；是类型为/>的节点级注意力向量；/>为转置符号；/>为用户节点/>的信息；/>为拼接符号。

在实际应用中不会聚合来自的所有邻居节点的信息，而是在每个epoch中随机抽取部分周围邻居信息进行聚合，一个epoch表示学习中所有训练数据均被使用过一次时的更新次数。具体的说，如果类型为/>的周围邻居的数量超过了预先设定的阈值/>，随机选择邻居类型为/>作为/>，而不会选择全部邻居节点；如果邻居节点的数量小于阈值/>，则会重复选取类型为/>的邻居节点，直到达到阈值。通过这种方式，保证每个节点聚合来自邻居的相同数量的信息，并且在每个epoch中增加节点嵌入的多样性。

根据公式（5），得到用户节点连接的所有不同类型的邻居节点嵌入表示；

利用均值融合将它们融合在一起，以获得网络模式视图下用户节点的嵌入表示；公式如下：

(7)；

这种分层注意力机制可以区分不同类型节点以及同类型节点的贡献，实现细粒度的表示学习。

步骤4、建立语义视图中的语义融合模块，进行语义融合，得到语义视图下的嵌入表示。语义视图通过图级关注将不同的子图合并成单个图来理解用户的高级异构信息。为了挖掘多粒度信息，在语义融合模块中使用语义知识聚合高阶信息，通过通道关注来融合不同的语义知识，实现语义交互。具体过程为：

步骤4.1、通过语义知识，将原始社交网络划分为不同的图结构，将建模的图数据分解为不同的子模块以学习不同的语义信息；通过图级注意力融合它们来作为整合后的社交网络结构，计算如下：

(8)；

其中，为不同语义关系合并后得到的最终关系矩阵；/>表示带有参数/>的图级注意力层，它用于为每个交换矩阵分配不同的权重；/>为语义关系/>的矩阵；/>为语义关系/>的矩阵；/>为语义关系/>的矩阵。

步骤4.2、将放入图卷积网络GCN中获取节点表示（事实上，/>可以应用于任意的图神经网络GNN编码器中），计算如下：

(9)；

其中，为语义视图下用户节点/>的嵌入表示；/>为归一化的关系矩阵；/>是用户特征；/>为权重参数。

步骤5、进行多视角节点表示的融合策略，利用拼接策略融合社交网络的不同粒度信息，得到用户信息的向量表示，进行个性化的推荐。具体过程为：

将得到的三个视图下的用户节点的嵌入表示有效拼接在一起，并通过多层感知机得到节点最终的嵌入表示：

(10)；

其中，为用户节点/>的最终嵌入表示，该嵌入表示即为学习到的用户信息表示，然后根据用户的行为和属性信息进行个性化的推荐或者预测用户的喜好。

为了证明本发明的可行性与优越性，进行了如下对比实验。

实验1：上述属性拓扑解耦模块、节点编码模块、语义融合模块，以及多视角节点表示的融合策略实质上构成了本发明模型MHGNN。本发明本发明实验数据集包括ACM、IMDB、DBLP、YELP四个数据集。每个数据集都采用了20%、40%、60%、80%四种分割率。首先评估了本发明模型MHGNN与HAN、GTN、MAGNN、HGSL、HPN、RoHe、ie-HGCN七个基线模型在半监督节点分类上的结果，评估指标方法选取Macro-F1和Micro-F1，具体数据结果如表1所示。将其和七个代表性的算法模型进行比较，将Macro-F1和Micro-F1是F1-score的两种计算方式，F1-score是用来衡量二分类模型精确度的一种指标，用于测量不均衡数据的精度。Macro-F1或Micro-F1的取值越高，表示模型精度越高。其中，HAN通过用户和商品之间不同的语义关系，划分为不同的语义子图然后将不同子图通过注意力融合不同子图下的用户表征。GTN通过用户和商品之间的关系矩阵，迭代卷积用户信息。MAGNN通过将用户和商品的关系编码成序列的形式，保留了所有节点属性信息，但编码过程中，用户信息被多次重复编码，造成信息冗余。HGSL通过利用用户属性和邻域结构，学习正确的链接关系，消除原始图拓扑中存在的噪声信息。HPN通过在每层保留初始关系矩阵，减轻了多层卷积之后的语义混淆问题。RoHe通过引入注意力边的形式，在噪声攻击情况下任然高效工作。ie-HGCN通过关系卷积，一层一层的迭代耦合周围邻域的信息。本发明将社交网络数据处理成合适的格式，反馈到模型中，测试我们所提出方法的优越性。

表1 各个模型在半监督节点分类上的结果（%）；

。

由表1可知，本发明模型MHGNN在ACM、IMDB、DBLP、YELP四个数据集上有不错的表现。总体而言，本发明模模型MHGNN通过聚合三个视角下的不同粒度的信息，得到的用户表示比单一视角下通过语义路径或者对用户自身信息建模得到的表示表现要好，这是由于MHGNN模型不仅利用语义视角去捕获高阶异质信息，还通过网络模式视角和利用对特征和拓扑解耦使得学习出的用户表示具有更强的表征能力。

实验2：本发明还进行了节点聚类实验以验证本发明模型MHGNN的性能。具体来说，将得到的用户表示放入K-means进行聚类，并将聚类数设置为节点真实的类别数。报告了平均归一化互信息（NMI）和调整后的兰德指数（ARI）两种评价指标方法的结果。NMI或ARI的取值越高，模型性能越好。

表2 MHGNN在节点聚类上的结果（%）；

。

从表2可以看出，MHGNN相比于其他基线模型均取得了不错的表现。相比于其他单一视角的模型，MHGNN充分抓取节点和周围邻域的语义关系，使得用户和邻域节点之间的区分度更高，聚类效果更明显。

图2比较和分析了本发明模型MHGNN和HAN、MAGNN、HGSL、HPN、RoHe、ie-HGCN六种模型的复杂性。从图2中可以看出，虽然MHGNN使用三个视角学习用户的表示，但是没有耗费太大的内存和时间，因为三个视图最后采用了拼接操作，并且利用注意力将不同语义路径下的子图合并为一个元图，节省了每个子图计算的时间，减少了计算量，提高了计算效率。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种基于多视图融合异质图神经网络的社交推荐方法，其特征在于，包括如下步骤：

步骤1、获取社交网络中用户与商品之间的关系，根据用户与商品之间是否存在链接关系建立异质图；

步骤2、建立节点视图中的属性拓扑解耦模块，将建立的矩阵输入属性拓扑解耦模块，进行特征和拓扑解耦编码，得到节点视图下的节点嵌入表示；

步骤3、建立网络模式视图中的节点编码模块，进行节点编码，得到网络模式视图下的节点嵌入表示；

步骤4、建立语义视图中的语义融合模块，进行语义融合，得到语义视图下的节点嵌入表示；

步骤5、进行多视角节点表示的融合策略，利用拼接策略融合社交网络不同粒度的信息，得到用户信息的向量表示，进行个性化的推荐。

2.根据权利要求1所述基于多视图融合异质图神经网络的社交推荐方法，其特征在于，所述步骤1的具体过程为：建立的异质图用矩阵表示，/>，/>代表用户节点总数，对应矩阵的总行数；/>表示商品节点总数，对应矩阵的总列数；矩阵的行代表用户节点，列代表商品节点，如果第/>个用户节点和第/>个商品节点之间存在链接，则矩阵的第/>行第列的值设为1，否则为0。

3.根据权利要求2所述基于多视图融合异质图神经网络的社交推荐方法，其特征在于，所述步骤2的具体过程为：

步骤2.1、将矩阵输入属性拓扑解耦模块，对于一个类型为/>的用户节点/>，通过映射矩阵/>把用户节点/>的属性特征/>投影到公共的维度区间，具体如下：

(1)；

其中，是用户节点/>的投影特征，/>为维度；/>是激活函数；/>代表矢量偏置；

步骤2.2、把用户节点的投影特征/>和拓扑结构/>通过多层感知机编码到公共的维度区间，具体如下：

(2)；

(3)；

其中，是编码后的用户节点/>的属性信息表示；/>是编码后的用户节点/>的拓扑信息表示；/>是多层感知机；

步骤2.3、将两个编码后的表示拼接起来，再通过多层感知机和激活函数将用户和商品的属性信息映射到共享维度，最终得到节点视图下用户节点的嵌入表示/>，具体如下：

(4)；

其中，表示拼接操作。

4.根据权利要求3所述基于多视图融合异质图神经网络的社交推荐方法，其特征在于，所述步骤3的具体过程为：

设用户节点与其它类型的的节点/>相连，/>、/>、/>、表示不同的节点类型；

将节点级注意力应用于类型的周围邻居中：

(5)；

其中，是用户节点/>连接的类型为/>的邻居节点嵌入表示；/>为用户节点/>连接的类型为/>的邻居节点；/>是邻居节点/>的投影特征；

为类型为/>的邻居节点/>对用户节点/>的注意力，计算如下：

(6)；

其中，为以自然常数e为底的指数函数；/>是激活函数；是类型为/>的节点级注意力向量；/>为转置符号；/>为用户节点/>的信息；/>为拼接符号；

根据公式（5），得到用户节点连接的所有不同类型的邻居节点嵌入表示；

利用类型级别的注意力将所有不同类型的邻居节点嵌入表示融合在一起，以获得网络模式视图下用户节点的嵌入表示/>；公式如下：

(7)；

其中，为类型总数，/>为类型索引。

5.根据权利要求4所述基于多视图融合异质图神经网络的社交推荐方法，其特征在于，所述步骤4的具体过程为：

步骤4.1、通过语义知识，将原始社交网络划分为不同的图结构，将建模的图数据分解为不同的子模块以学习不同的语义信息；通过图级注意力融合不同语义来作为整合后的社交网络结构，计算如下：

(8)；

其中，为不同语义关系合并后得到的最终关系矩阵；/>表示带有参数/>的图级注意力层，用于为每个交换矩阵分配不同的权重；/>为语义关系/>的矩阵；/>为语义关系的矩阵；/>为语义关系/>的矩阵；

步骤4.2、将放入图卷积网络GCN中获取节点表示，计算如下：

(9)；

其中，为语义视图下用户节点/>的嵌入表示；/>为归一化的关系矩阵；/>是用户特征；/>为权重参数。

6.根据权利要求5所述基于多视图融合异质图神经网络的社交推荐方法，其特征在于，所述步骤5的具体过程为：

将得到的三个视图下的用户节点的嵌入表示拼接在一起，并通过多层感知机得到节点最终的嵌入表示：

(10)；

其中，为用户节点/>的最终嵌入表示，该嵌入表示即为学习到的用户信息表示，然后根据用户的行为和属性信息进行个性化的推荐或者预测用户的喜好。