CN114817663B - 一种基于类别感知图神经网络的服务建模与推荐方法 - Google Patents

Abstract

本发明公开了一种基于类别感知图神经网络的服务建模与推荐方法，包括以下步骤：步骤1、输入用户的历史服务交互数据；步骤2、读取并处理用户的历史服务交互数据；步骤3、构建异构超图步骤4、通过类别感知超图卷积构建模型，并挖掘服务交互序列中服务和服务类别信息之间的复杂关系；步骤5、模型训练与服务推荐。上述技术方案首先是通过类别感知超图对用户的服务交互序列及对应的类别信息进行有效建模，然后利用图神经网络训练服务的向量表示，从而可以更好地捕捉用户服务交互序列中服务、类别及其之间的联系。其次是使用注意力机制准确提取用户的局部和全局兴趣，进而进行自适应融合得到混合兴趣，为用户提供更加精准的服务推荐。

Description

一种基于类别感知图神经网络的服务建模与推荐方法

技术领域

本发明属于数据挖掘与推荐***技术领域，具体涉及一种基于类别感知图神经网络的服务建模与推荐方法。

背景技术

如今，随着信息技术的快速发展，大数据时代已经来临，由此导致的信息过载(例如，快速增加的产品、音乐等服务)问题愈加严重，使人们很难找到他们想要的服务，推荐***(Recommender Systems)作为一种有效的信息过滤工具，能够从用户历史行为等数据中挖掘分析用户的兴趣偏好，并向用户推荐合适的信息和内容，进而满足用户的个性化需求，是解决信息过载问题的重要途径。在许多现实世界的应用中(例如电子商务、基于位置的社交网络和流媒体服务场景)，用户的偏好主要反映在他们的历史行为记录中。例如，交互iPhone的人如果想交互个人电脑，很有可能更喜欢Mac。许多现有的方法主要利用用户历史行为记录和用户档案来建模用户的偏好并预测下一个项目(物品、服务等)。然而，在很多实际应用场景中，往往只能获取特定时间段内的用户历史行为记录，甚至无法获取匿名用户的历史记录。

最近，许多研究人员提出了基于序列的推荐模型，以根据用户的近期行为序列来捕获匿名用户的偏好。已有模型主要侧重于探索项目之间的关系，例如转移和共现关系，或者从用户最近喜欢或与之交互的项目序列中挖掘用户的行为模式与兴趣。这些方法缺乏建模复杂关系的能力。近年来，人们越来越关注在推荐任务中应用深度学习技术，并提出了一些基于深度神经网络(例如图神经网络)的推荐方法。上述基于图神经网络的方法将用户交互序列数据转换为图结构，并将项目转换建模为成对关系，这可以减轻序列内连续项目之间的顺序依赖性。然而，一般的图结构不能表示项目之间的高阶关系，并且忽略了重要的辅助信息。

发明内容

本发明针对现有技术的不足，提出了一种基于类别感知图神经网络的服务建模与推荐方法。

本发明将用户的历史服务交互数据中的服务及类别作为一个行为序列，然后基于这些序列中的服务和类别信息构造异构超图，对服务间和序列内的服务和类别之间的复杂关系进行建模，通过类别感知图神经网络利用服务的类别信息和用户交互行为来学习服务的特征向量表示，并利用注意力机制准确建模用户的兴趣偏好，进而整合了用户的全局和本地偏好为用户推荐能够满足其兴趣需求的服务。

本发明方法的具体步骤是：

一种基于类别感知图神经网络的服务建模与推荐方法，包括以下步骤：

步骤1、输入用户的历史服务交互数据；

步骤2、读取并处理用户的历史服务交互数据

将每个用户的历史服务交互数据按照时间戳进行先后排序，得到每个用户行为序列文件，其中每一行对应一个用户的服务交互序列；

步骤3、构建异构超图

根据用户与服务的交互记录构建类别感知超图；

步骤4、通过类别感知超图卷积构建模型，并挖掘服务交互序列中服务和服务类别信息之间的复杂关系；

步骤5、模型训练与服务推荐。

作为优选，所述步骤1中，历史服务交互数据包括用户ID、服务ID、服务信息以及交互的时间。

作为优选，所述步骤2中，每个服务交互序列中，所对应的用户交互过的服务ID及对应的类别按交互的时间先后顺序排序，使用逗号分隔；形式为S_u＝{(服务1的ID，服务1的类别)，(服务2的ID，服务2的类别),……,(服务n的ID，服务n的类别)}＝{(i_u,1,c_u,1),(i_u,2,c_u,2),...,(i_u,n,c_u,n)}。

作为优选，所述步骤3中，所述类别感知超图的构建方法：

1)构建类别感知超图：G(H)＝(V,E)，其中V表示超节点集，超节点集包含服务和相应的类别信息，E是超边集，超边连接会话内的服务节点和类别节点；

2)将每个超边表示为[i_s,1,...,i_s,m,c_s,1,...,c_s,m]，其中每个服务是i_s,k∈I，I是所有的服务集合，服务i_s,k对应的类别定义为c_s,k∈C，1≤k≤m，C是服务类别的集合；

3)如果某些用户先后与服务i_s,m-1与i_s,m交互，则在原始记录中两个服务i_s,m-1和i_s,m之间将存在一条边，类别感知超图中每个用户记录中的服务节点和类别节点都是连接的；

4)使用关联矩阵表示超图上节点之间的连接，定义为H∈{0,1}^|V|×|E|。H中的每个元素H_v,e＝h(v,e)表示节点v∈V是否由超边e∈E连接。h(v,e)正式定义为

节点v的度数d(v)定义为

超边e∈E的度数定义为

5)用两个对角矩阵

和

分别表示超节点度矩阵和超边度矩阵。

作为优选，步骤4包括以下子步骤：

步骤4-1、类别感知超图卷积

首先定义类别感知超图卷积为

其中

为输入特征，Xⁱ和X^c是服务i及对应服务类别c的嵌入向量，N_I和N_C是服务和类别的数目，d是嵌入向量的维度，

和

是超图的关联矩阵和超边的权重矩阵，D_v和D_e是等式中的归一化矩阵，

被输入到L个堆叠类别感知超图卷积层中，类别感知超图卷积操作的L个输出被聚合以获得最终的节点嵌入，它使用平均池化策略定义如下

进而，计算得到服务嵌入Xⁱ＝X_h[0:N_I]和服务类别嵌入X^c＝X_h[N_I:N_I+N_C]；

步骤4-2，序列建模与提取

基于服务嵌入和类别嵌入，将序列S_u转换为服务和类别嵌入的两个序列：

和

其中

和

表示用户u的服务交互序列S_u中的第t个服务嵌入和相应的服务类别嵌入，通过线性变换生成服务嵌入

和类别嵌入

的注意力权重矩阵Aⁱ和A^c，它们分别定义为

其中

Qⁱ,Kⁱ,Vⁱ,Q^c,K^c,

是权重矩阵，采用学习到的反向位置嵌入P＝[p₁,p₂,...,p_m]，其中m表示相应交互序列中的服务数，那么服务交互序列S_u中第t个服务的嵌入定义为

其中

和b是可训练参数，

和

分别是当前会话中第t个服务嵌入和相应类别嵌入的注意力权重矩阵；

步骤4-3，用户的局部偏好由交互序列中最后一个服务的嵌入h_m表示，定义为S^l＝h_m，通过为会话中的每个服务分配不同的权重来改进用户兴趣的提取，用户的全局偏好S^g通过软注意机制聚合服务嵌入来表示，定义为

权重α_t＝fθ(W₂h_s+W₃h_t+c)，其中

和c是可学***均嵌入，表示为

步骤4-4，通过连接局部偏好S^l和全局偏好S^g来获得用户的混合偏好嵌入S^h，其形式化定义为S^h＝θ(W₄[S^g||S^l])，其中θ和

分别表示非线性激活函数和可学习参数。

作为优选，所述步骤5中，基于学习到的服务i的嵌入Xⁱ和交互序列S_j中的混合偏好嵌入

可以执行服务推荐，推荐分数

用内积策略定义为

然后，推荐分数

用softmax操作归一化，得到最终分数

即目标服务在给定记录序列S_j情况下被交互的概率，选择

中概率最高的top-K服务作为推荐列表中的候选，在推荐任务中，学习目标被表述为交叉熵损失

其中，N是训练样本的数目。

本发明具有的有益效果：首先是通过异构超图对用户的服务交互序列及对应的类别信息进行有效建模，然后利用图神经网络训练服务的向量表示，从而可以更好地捕捉用户服务交互序列中服务、类别及其之间的联系。其次是使用注意力机制准确提取用户的局部和全局兴趣，进而进行自适应融合得到混合兴趣，为用户提供更加精准的服务推荐。本发明解决了行为序列数据利用不充分、辅助信息融合困难的问题。本发明通过真实数据集的实验表明，基于类别感知图神经网络的服务建模与推荐方法相比于传统的模型具有更好的推荐能力，在多项指标(Precision、Recall等)中均超过传统的服务推荐算法。

附图说明

图1本发明一种基于类别感知图神经网络的服务建模与推荐方法实施例的模型图。

图2本发明实施中类别感知超图卷积的网络结构示意图。

具体实施方式

下面将对本发明所提供的基于图神经网络与用户意图感知的服务推荐方法做具体说明，本发明提供一种基于类别感知图神经网络的服务建模与推荐方法，其模型图如图1所示，包括以下步骤：

步骤1、输入用户的历史服务交互数据，其中交互数据包括用户ID、服务ID、服务信息以及交互的时间。

步骤2、读取并处理用户的服务交互行为数据；将每个用户的交互记录按照时间戳进行先后排序，得到每个用户行为序列文件；其中每一行为某个用户的服务交互序列，每个序列中，该用户交互过的服务ID及对应的类别按交互的时间先后顺序排序，使用逗号分隔；形式为S_u＝{(服务1的ID，服务1的类别),(服务2的ID，服务2的类别),……,(服务n的ID，服务n的类别)}＝{(i_u,1,c_u,1),(i_u,2,c_u,2),...,(i_u,n,c_u,n)}。

步骤3、构建异构超图：根据用户与服务的交互记录及服务的类别信息构建类别感知超图。

为了学习当前会话中不同类型的关系，我们构建了一个类别感知超图G(H)＝(V,E)，其中V表示超节点集，节点集包含服务和相应的类别，E是超边集，超边连接会话内的服务节点和类别节点。与传统图不同，超图自然具有捕获超节点之间更复杂连接的能力，并且更多的节点连通性意味着我们可以挖掘更多的高阶信息。每个超边将对应的用户表示为一个超边。我们将每个超边表示为[i_s,1,...,i_s,m,c_s,1,...,c_s,m]，其中每个服务是i_s,k∈I，I是所有的服务集合，服务i_s,k对应的类别定义为c_s,k∈C，1≤k≤m，C是服务类别的集合。具体而言，如果某些用户先后与服务i_s,m-1与i_s,m交互，则在原始记录中两个服务i_s,m-1和i_s,m之间将存在一条边。类别感知超图是从异构图构建的，并且每个用户记录中的所有节点(包括服务节点和类别节点)都是连接的。与传统的超图相比，类别感知超图可以对服务和类别之间的高阶关系进行建模。我们使用关联矩阵表示超图上节点之间的连接，定义为H∈{0,1}^|V|×|E|。H中的每个元素H_v,e＝h(v,e)表示节点v∈V是否由超边e∈E连接。h(v,e)正式定义为

节点v的度数d(v)定义为

超边e∈E的度数定义为

此外，我们用两个对角矩阵

和

分别表示超节点度矩阵和超边度矩阵。

步骤4、构建类别感知的异构超图卷积网络来挖掘会话中服务和类别之间的复杂关系。其核心是利用类别感知超图卷积在传播服务和类别的信息，如图2所示，

子步骤4-1、类别感知超图卷积。定义为

其中

为输入特征，Xⁱ和X^c是服务i及对应服务类别c的嵌入向量，N_I和N_C是服务和类别的数目，d是嵌入向量的维度，

和

是超图的关联矩阵和超边的权重矩阵。输入嵌入

首先乘以关联矩阵H，以将重要信息从节点传播到超边。然后，通过乘以H根据节点的超边收集信息。注意D_v和D_e是等式中的归一化矩阵。因此，类别感知超图卷积层可以通过节点-超边-节点转换有效地捕获类别感知超图结构中的复杂关系。

被输入到L个堆叠类别感知超图卷积层中。类别感知超图卷积操作的L个输出被聚合以获得最终的节点嵌入，它使用平均池化策略定义如下

进而，我们计算得到服务嵌入Xⁱ＝X_h[0:N_I]和服务类别嵌入X^c＝X_h[N_I:N_I+N_C]。

步骤4-2、序列建模与提取。基于服务嵌入和类别嵌入，我们将序列S_u转换为服务和类别嵌入的两个序列：

和

其中

和

表示用户u的服务交互序列S_u中的第t个服务嵌入和相应的服务类别嵌入。我我们通过线性变换生成服务嵌入

和类别嵌入

的注意力权重矩阵Aⁱ和A^c，它们分别定义为

和

其中

Qⁱ,Kⁱ,Vⁱ,Q^c,K^c,

是权重矩阵。为了保留序列中的时间信息，我们采用学习到的反向位置嵌入P＝[p₁,p₂,...,p_m]，其中m表示相应交互序列中的服务数。那么服务交互序列S_u中第t个服务的嵌入定义为

其中

和b是可训练参数，

和

分别是当前会话中第t个服务嵌入和相应类别嵌入的注意力权重矩阵。

子步骤4-3、用户的局部偏好由交互序列中最后一个服务的嵌入h_m表示，定义为S^l＝h_m。我们通过为会话中的每个服务分配不同的权重来改进用户兴趣的提取。用户的全局偏好S^g通过软注意机制聚合服务嵌入来表示，定义为

权重α_t＝fθ(W₂h_s+W₃h_t+c)，其中

W₂,

和c是可学***均嵌入，表示为

子步骤4-4、我们通过连接局部偏好S^l和全局偏好S^g来获得用户的混合偏好嵌入S^h，其形式化定义为S^h＝θ(W₄[S^g||S^l])，其中θ和

分别表示非线性激活函数和可学习参数。

步骤5、模型训练与服务推荐。基于学习到的服务i的嵌入Xⁱ和交互序列S_j中的混合偏好嵌入

我们可以执行服务推荐。推荐分数

用内积策略定义为

然后，推荐分数

用softmax操作归一化，得到最终分数

即目标服务在给定记录序列S_j情况下被交互的概率。选择

中概率最高的top-K服务作为推荐列表中的候选。在推荐任务中，学习目标被表述为交叉熵损失

其中，N是训练样本的数目。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (5)

1.一种基于类别感知图神经网络的服务建模与推荐方法，其特征在于，包括以下步骤：

步骤1、输入用户的历史服务交互数据；

步骤2、读取并处理用户的历史服务交互数据

将每个用户的历史服务交互数据按照时间戳进行先后排序，得到每个用户行为序列文件，其中每一行对应一个用户的服务交互序列；

步骤3、构建异构超图

利用用户对于服务的交互数据和服务的类别信息构建类别感知超图；

步骤4、通过类别感知超图卷积构建模型，并挖掘服务交互序列中服务和服务类别信息之间的复杂关系

步骤4-1、类别感知超图卷积

首先定义类别感知超图卷积为

其中

为输入特征，Xⁱ和X^c是服务i及对应服务类别c的嵌入向量，N_I和N_C是服务和类别的数目，d是嵌入向量的维度，

和

是超图的关联矩阵和超边的权重矩阵，D_v和D_e是等式中的归一化矩阵，

被输入到L个堆叠类别感知超图卷积层中，类别感知超图卷积操作的L个输出被聚合以获得最终的节点嵌入，它使用平均池化策略定义如下

进而，计算得到服务嵌入Xⁱ＝X_h[0:N_I]和服务类别嵌入X^c＝X_h[N_I:N_I+N_C]；

步骤4-2，序列建模与提取

基于服务嵌入和类别嵌入，将序列S_u转换为服务和类别嵌入的两个序列：

和

其中

和

表示用户u的服务交互序列S_u中的第t个服务嵌入和相应的服务类别嵌入，通过线性变换生成服务嵌入

和类别嵌入

的注意力权重矩阵Aⁱ和A^c，它们分别定义为

其中

是权重矩阵，采用学习到的反向位置嵌入P＝[p₁,p₂,...,p_m]，其中m表示相应交互序列中的服务数，那么服务交互序列S_u中第t个服务的嵌入定义为

其中

和b是可训练参数，

和

分别是当前会话中第t个服务嵌入和相应类别嵌入的注意力权重矩阵；

步骤4-3，用户的局部偏好由交互序列中最后一个服务的嵌入h_m表示，定义为S^l＝h_m，通过为会话中的每个服务分配不同的权重来改进用户兴趣的提取，用户的全局偏好S^g通过软注意机制聚合服务嵌入来表示，定义为

权重α_t＝fθ(W₂h_s+W₃h_t+c)，其中

和c是可学***均嵌入，表示为

步骤4-4，通过连接局部偏好S^l和全局偏好S^g来获得用户的混合偏好嵌入S^h，其形式化定义为S^h＝θ(W₄[S^g||S^l])，其中θ和

分别表示非线性激活函数和可学习参数；

步骤5、模型训练与服务推荐。

2.根据权利要求1所述的一种基于类别感知图神经网络的服务建模与推荐方法，其特征在于，所述步骤1中，历史服务交互数据包括用户ID、服务ID、服务信息以及交互的时间。

3.根据权利要求1所述的一种基于类别感知图神经网络的服务建模与推荐方法，其特征在于，所述步骤2中，每个服务交互序列中，所对应的用户交互过的服务ID及对应的类别按交互的时间先后顺序排序，使用逗号分隔；形式为S_u＝{(服务1的ID，服务1的类别)，(服务2的ID，服务2的类别),……,(服务n的ID，服务n的类别)}＝{(i_u,1,c_u,1),(i_u,2,c_u,2),...,(i_u,n,c_u,n)}。

4.根据权利要求1所述的一种基于类别感知图神经网络的服务建模与推荐方法，其特征在于，所述步骤3中，所述类别感知超图的构建方法：

1)构建类别感知超图：G(H)＝(V,E)，其中V表示超节点集，超节点集包含服务和相应的类别信息，E是超边集，超边连接会话内的服务节点和类别节点；

2)将每个超边表示为[i_s,1,...,i_s,m,c_s,1,...,c_s,m]，其中每个服务是i_s,k∈I，I是所有的服务集合，服务i_s,k对应的类别定义为c_s,k∈C，1≤k≤m，C是服务类别的集合；

3)如果某些用户先后与服务i_s,m-1与i_s,m交互，则在原始记录中两个服务i_s,m-1和i_s,m之间将存在一条边，类别感知超图中每个用户记录中的服务节点和类别节点都是连接的；

4)使用关联矩阵表示超图上节点之间的连接，定义为H∈{0,1}^|V|×|E|；H中的每个元素H_v,e＝h(v,e)表示节点v∈V是否由超边e∈E连接；h(v,e) 正式定义为

节点v的度数d(v)定义为

超边e∈E的度数定义为

5)用两个对角矩阵

和

分别表示超节点度矩阵和超边度矩阵。

5.根据权利要求4所述的一种基于类别感知图神经网络的服务建模与推荐方法，其特征在于，所述步骤5中，基于学习到的服务i的嵌入Xⁱ和交互序列S_j中的混合偏好嵌入

可以执行服务推荐，推荐分数

用内积策略定义为

然后，推荐分数

用softmax操作归一化，得到最终分数

即目标服务在给定记录序列S_j情况下被交互的概率，选择

中概率最高的top-K服务作为推荐列表中的候选，在推荐任务中，学习目标被表述为交叉熵损失

其中，N是训练样本的数目。

Images