CN109816101A - 一种基于图卷积神经网络的会话序列推荐方法及*** - Google Patents

Abstract

本公开提出了一种基于图卷积神经网络的会话序列推荐方法及***，针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得所有节点的隐含表示向量；基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。通过引入全局和局部的隐含向量表示，去除了原始向量空间中的一些噪音，获得更准确的预测效果。

Description

一种基于图卷积神经网络的会话序列推荐方法及***

技术领域

本公开涉及计算机处理技术领域，特别是涉及一种基于图卷积神经网络的会话序列推荐方法及***。

背景技术

随着互联网可获取信息的快速增长，信息过载一直为用户所诟病。推荐***可以帮助用户快速而准确的得到所想要的信息。现有的大多数推荐***假设能够不断记录用户的活动。然而，在很多情况下，对于网站端，用户的个人身份可能是未知的，并且只有当前正在进行的会话期间的用户行为历史对于网站是可知的。因此，在一个会话中对有限行为进行建模并相应地进行内容推荐是有重要意义的。相反，依赖于充分的用户－项目交互的传统推荐方法在这种情况下容易产生不准确的推荐结果。

最近，基于马尔可夫链的一些工作通过用户的前一个动作预测用户的下一个行为。尽管取得了不错的效果，但是因为这些方法的独立性假设过于强烈，限制了预测准确性的进一步提高。近年来，大多数研究将循环神经网络(RNN)应用于基于会话序列的推荐***并且获得了突出的效果。

尽管上述方法取得了令人满意的结果，但它们仍然存在一些局限性。

首先，由于在基于会话的推荐***中，一个会话中往往没有足够的用户行为，而会话通常是匿名的并且数量众多，因此会话点击序列中涉及的用户行为却是有限的。因此难以从每个会话准确地估计每个用户的隐含表示向量。

其次，用户点击序列的项目之间的转换、连接关系很重要。可以在基于会话的推荐中看做影响用户点击的局部因素，但这些方法仅仅考虑了连续点击项目之间的单向转换，忽略了上下文(用户的其他点击项)之间的转换关系。

发明内容

为了解决现有技术的不足，本公开实施例子提供了一种基于图卷积神经网络的会话序列推荐方法，通过对用户点击项目进行建模为图，充分考虑到了序列中用户点击项目之间的关系，从而能够准确的估计用户点击项目的表达，并能够准确的预测用户的下一个点击动作。

为了实现上述目的，本申请采用以下技术方案：

一种基于图卷积神经网络的会话序列推荐方法，包括：

获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。

作为本公开进一步的技术方案，所述有向图中每一个节点代表会话序列中用户的一个点击项，图中的边表明用户连续点击了该边连接的两个节点。

作为本公开进一步的技术方案，构建有向图之后，将有向图中边的权值进行归一化操作，边权值计算为边的出现次数除以该边的起始节点的出度。

作为本公开进一步的技术方案，全局偏好向量以及该会话中用户局部点击偏好向量的组合嵌入用作会话序列的表示。

作为本公开进一步的技术方案，在生成每个会话的嵌入表示后，通过将其隐含表示乘以每一个候选点击项，得到一个推荐得分，再通过函数对推荐得分进行归一化，选出得分最高的项作为推荐依据。

作为本公开进一步的技术方案，图卷积神经网络对有向图的处理，具体为：将所有会话序列中涉及到的用户点击项均嵌入至一个统一的隐含表示空间中，形成为基于用户点击项目的隐含表示向量，最终，每一个会话序列表示为由该有向图中点击项的隐含表示向量组成的向量。

作为本公开进一步的技术方案，基于隐含表示向量，首先生成用户的局部点击偏好向量，为了预测下一项点击，则影响最大的应当是用户的当前点击；

之后，考虑利用注意力机制对整个用户会话序列中涉及到的项目来构建用户全局偏好向量；

接下来，对上述两个向量进行变换，组合为用户会话序列的混合表达向量。

作为本公开进一步的技术方案，通过得到各个用户点击项的隐含表示向量和用户会话序列的混合表达向量后，对所有候选项进行点乘操作，得到推荐得分，然后对所有得分进行归一化操作，对用户下一项点击进行预测。

作为本公开进一步的技术方案，预测时，定义损失函数为预测点击与真实值的交叉熵，使用算法对参数进行学习。

本公开的实施例子还公开了一种基于图卷积神经网络的会话序列推荐***，包括：

节点向量表示单元，被配置为：获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

会话序列向量表示单元，被配置为：基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

项目点击预测单元，对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。

本公开的实施例子还公开了一种基于图卷积神经网络的会话序列推荐***，包括：

采集单元，被配置为：采集用户的历史点击项数据，并形成会话序列；

服务器，所述服务器被配置为：获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率；

显示单元，所述显示单元被配置为：显示服务器所形成的每个项目成为下一次点击的概率。

本公开的实施例子还公开了一种计算机设备，包括：处理器、网络接口和存储器，所述存储器存储有可执行程序代码，所述网络接口受所述处理器的控制用于收发消息，所述处理器用于调用所述可执行程序代码，执行上述所述的一种基于图卷积神经网络的会话序列推荐方法。

一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述所述的一种基于图卷积神经网络的会话序列推荐方法。

与现有技术相比，本公开的有益效果是：

本公开的技术方案解决了其他模型不能很好建模序列之间连接关系，不能很好学习项目表达以及数据稀疏和冷启动等问题，能适用于当前会话序列数据量庞大且复杂的商业业务场景，如购物车推荐、产品搭配和广告点击率预测等多个领域。

本公开的技术方案针对获取精确的会话序列中涉及到的项目的表达，而且能应用于大量会话序列的情形中。通过引入全局和局部的隐含向量表示，去除了原始向量空间中的一些噪音，获得更准确的预测效果。

本公开的技术方案提出将会话序列建模为有向图，可以捕捉节点间复杂的转换关系，以此作为推荐的依据，可以提高预测的准确率。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子的工作流程图；

图2(a)-图2(b)为本公开实施例子在数据集上的测试结果示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本公开的一种典型的实施方式中，参见附图1所示，提供了一种基于图卷积神经网络的会话序列推荐方法，包括的具体步骤为：

步骤S1.根据用户在网站上的cookies信息确定用户的会话序列，并且依据序列中各个项的时间戳进行排序。根据每个单独的用户会话序列构建为一个有向图。对于每个有向图，依次将其输入至图卷积神经网络以获得每个图中涉及的所有节点的隐含向量表示。

步骤S2.基于步骤S2得到的节点隐含向量表示，使用软注意力机制网络生成全局和局部会话序列的隐含表示，其中全局偏好和局部向量均由节点的隐含向量组成。之后，将每个会话序列表示为全局偏好以及该会话中用户当前兴趣的组合。

步骤S3.对于每个会话序列，由步骤S2中计算出的向量预测每个项目成为下一次点击的概率。

本公开实施例子提出的基于图卷积神经网络的会话序列推荐方法，通过将用户与***的交互项(取决于不同的推荐场景。在具体场景中，可能是用户的浏览、点击、加购物车、收藏、购买等行为)和会话序列嵌入到隐含向量空间，对每个项和会话序列学习一个d维特征向量v_i，s_i。通过将用户会话序列建模为有向图，本公开学习到的隐含向量更加准确。

具体的，在步骤S1中，将每一个会话序列建模为一个有向图。在这个有向图中，每一个节点代表会话序列中用户的一个点击项。每条边代表会话序列s中该用户依次点击的两个项目，例如：图中的边(v₁，v₂)表明用户连续点击了v₁和v₂。

考虑到用户可能点击重复的项目，导致序列中可能出现多个重复的点击项。这时本公开实施例子考虑将边的权值进行归一化操作。边权值计算为边的出现次数除以该边的起始节点的出度。出度计算为以该节点为起始节点的边的数目。

之后，本公开实施例子通过图卷积网络将所有会话序列中涉及到的用户点击项均嵌入到一个统一的d维隐含表示空间中。基于用户点击项目的隐含表示向量，每一个会话序列可以表示为由该序列图中点击项的隐含表示向量组成的向量。

在一实施例中，每一个会话序列可以表示为由该有向序列图中的项目的隐含表示向量组成的向量，具体步骤为：

对于用户会话序列s构成的序列图g_s，计算带自身回路的邻接矩阵和顶点度矩阵输入至图卷积神经网络层中，得到各个点击项的隐含表达矩阵G：

其中，各个点击项的隐含表达向量v是G的一行，θ：为需要学习的权重矩阵。需要注意的是特征矩阵H_s的设置比较灵活，对于用户点击项不带额外信息构成的图，H_s可以设置为I。

具体的，在步骤S2中，基于步骤S1中得到点击项的隐含表达生成会话序列的隐含表达向量，将每一会话序列表示为由该会话中涉及节点的隐含表示向量。为了更好地预测用户的下一次点击，结合会话序列中体现出的用户长期(全局)偏好和当前(局部)兴趣，并将此组合嵌入用作会话序列的表示。

在一实施例中，基于通过得到点击项的隐含表达生成会话序列的隐含表达向量，具体为：首先生成用户的局部点击偏好向量s_l，为了预测下一项点击，则影响最大的应当是用户的当前点击。

之后，考虑利用注意力机制对整个用户会话序列中涉及到的项目来构建用户全局偏好向量s_g。

接下来，对上述两个向量进行变换，组合为用户会话序列的混合表达向量s_h。具体的变换方式可以考虑线性变换和非线性变换(如使用多层感知机)等等。

具体的，在步骤S2生成每个会话的嵌入表示后，通过将其隐含表示乘以每一个候选点击项，得到一个推荐得分。再通过softmax函数对推荐得分进行归一化，选出得分最高的项作为推荐依据。

在一实施例中，对用户下一项点击进行预测。通过上述步骤分别得到各个用户点击项的隐含表达和用户会话序列的隐含表达向量后，对所有候选项进行点乘操作，得到推荐得分。再接下来对所有得分进行softmax归一化操作，便于后续预测和推荐。

为了训练该神经网络模型，定义模型的损失函数为预测点击与真实值的交叉熵(cross entropy)，然后使用Back-Propagation算法对模型参数进行学习。

本具体实施例子能够通过对用户点击项目进行建模为图，充分考虑到了序列中用户点击项目之间的关系，从而能够准确的估计用户点击项目的表达，并能够准确的预测用户的下一个点击动作。

在本公开的具体实施例子中，由于彼此独立、分离的会话序列被建模为图结构的数据，并使用基于图卷积的神经网络得到精确的节点的隐含表示向量。在现实中，用户的购物行为往往具有一定的联系，比如周期性、重复性和固定性的购买行为，本实施例子提出将会话序列建模为图，可以捕捉节点间复杂的转换关系，以此作为推荐的依据，可以提高预测的准确率。

在本公开的具体实施例子中，由于不依赖于用户的隐含表示向量，而是将每个会话序列嵌入至低微隐含空间。可以仅基于每个单个会话序列中涉及的节点的隐含表示向量来进行推荐。因此，其能够大大减少需要学习的参数的数量，能够提高模型学习的速度和精度。

在本公开的具体实施例子中，基于会话序列的推荐***问题，特别针对获取精确的会话序列中涉及到的项目的表达，而且能应用于大量会话序列的情形中。通过引入全局和局部的隐含向量表示，去除了原始向量空间中的一些噪音，获得更准确的预测效果。

为了使得本领域技术人员能够更加清楚地了解本公开的技术方案，以下将结合具体的实施例与对比例详细说明本公开的技术方案。

为了更好地理解本发明对构建基于会话序列的推荐***的作用，以及验证本发明的实施效果，接下来以在线购物平台推荐为例进行说明，本示例采用Yoochoose和Diginetica数据库。这两个数据库包含了用户在某大型电子购物平台上的点击流，具有一定的代表性。每个数据集均包含一定数量的用户点击序列。为了与其他方法进行公平比较，出现次数少于5次的项目和长度为1的序列被忽略。考虑到Yoochoose数据中序列的数量过于庞大，仅仅使用最近1/64和1/4的数据。

在这两个数据集上验证本公开实施例子的效果的方法如下：

步骤S1.根据每个单独的会话序列构建为一个有向图。对于每个有向图，依次将其输入至图卷积神经网络以获得每个图中涉及的所有节点的隐含向量表示。

步骤S2.基于步骤S2得到的节点隐含向量表示，使用软注意力机制网络生成全局和局部会话序列的隐含表示，其中全局偏好和局部向量均由节点的隐含向量组成。之后，将每个会话序列表示为全局偏好以及该会话中用户当前兴趣的组合。

步骤S3.对于每个会话序列，由步骤S2中计算出的向量预测每个项目成为下一次点击的概率。

本公开与下列方法NARM和STAMP进行对比，与目前最好方法，采用Precision@20和MRR@20作为评价指标。评估时，使用一个10％规模的验证集合选择最合适的参数，并且限制隐含表达空间的规模d＝100。

此外，对于输入序列s＝[v_s，1，v_s，2，...，v_s，n]，生成如下序列与对应的预测标签：

([v_s，1]，v_s，2)，([v_s，1，v_s，2]，v_s，3)，...，([v_s，1，v_s，2，...，v_s，n-1]，v_s，n)，

其中，[v_s，1，v_s，2，...，v_s，n-1]为生成的序列，v_s，n：为对应的预测标签。

比较结果，参见附图2(a)-附图2(b)所示。从图中可以看出，本公开的方法与最新的NARM和STAMP相比，Precision@20和MRR@20两个评价指标都领先其他两个方法。证明了该方法的有效性。

本公开的一实施例子还公开了一种基于图卷积神经网络的会话序列推荐***，包括：

节点向量表示单元，被配置为：获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

会话序列向量表示单元，被配置为：基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

项目点击预测单元，对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。

本公开的一实施例子还公开了一种基于图卷积神经网络的会话序列推荐***，包括：

采集单元，被配置为：擦剂用户的历史点击项数据，并形成会话序列；

服务器，所述服务器被配置为：获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率；

显示单元，所述显示单元被配置为：显示服务器所形成的每个项目成为下一次点击的概率。

本公开的另一实施例还公开了一种计算机设备，包括：处理器、网络接口和存储器，所述存储器存储有可执行程序代码，所述网络接口受所述处理器的控制用于收发消息，所述处理器用于调用所述可执行程序代码，执行上述所述的一种基于图卷积神经网络的会话序列推荐方法。

本公开的另一实施例一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述所述的一种基于图卷积神经网络的会话序列推荐方法。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于图卷积神经网络的会话序列推荐方法，其特征是，包括：

获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。

2.如权利要求1所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，所述有向图中每一个节点代表会话序列中用户的一个点击项，图中的边表明用户连续点击了该边连接的两个节点。

3.如权利要求2所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，构建有向图之后，将有向图中边的权值进行归一化操作，边权值计算为边的出现次数除以该边的起始节点的出度。

进一步的，全局偏好向量以及该会话中用户局部点击偏好向量的组合嵌入用作会话序列的表示，在生成每个会话的嵌入表示后，通过将其隐含表示乘以每一个候选点击项，得到一个推荐得分，再通过函数对推荐得分进行归一化，选出得分最高的项作为推荐依据。

4.如权利要求1所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，图卷积神经网络对有向图的处理，具体为：将所有会话序列中涉及到的用户点击项均嵌入至一个统一的隐含表示空间中，形成为基于用户点击项目的隐含表示向量，最终，每一个会话序列表示为由该有向图中点击项的隐含表示向量组成的向量。

5.如权利要求1所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，基于隐含表示向量，首先生成用户的局部点击偏好向量，为了预测下一项点击，则影响最大的应当是用户的当前点击；

之后，考虑利用注意力机制对整个用户会话序列中涉及到的项目来构建用户全局偏好向量；

接下来，对上述两个向量进行变换，组合为用户会话序列的混合表达向量。

6.如权利要求5所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，通过得到各个用户点击项的隐含表示向量和用户会话序列的混合表达向量后，对所有候选项进行点乘操作，得到推荐得分，然后对所有得分进行归一化操作，对用户下一项点击进行预测。

7.如权利要求1所述的一种基于图卷积神经网络的会话序列推荐方法，其特征是，预测时，定义损失函数为预测点击与真实值的交叉熵，使用算法对参数进行学习。

8.一种基于图卷积神经网络的会话序列推荐***，其特征是，包括：

节点向量表示单元，被配置为：获得用户的历史点击项数据，并针对每个会话序列构建为一个有向图，对于每个有向图，将其输入至图卷积神经网络以获得有向图中涉及的所有节点的隐含表示向量；

会话序列向量表示单元，被配置为：基于得到的节点的隐含表示向量，使用软注意力机制网络生成全局偏好向量和局部点击偏好向量，其中全局偏好向量和局部点击偏好向量均由节点的隐含表示向量组成，之后，将每个会话序列表示为全局偏好向量以及该会话中用户局部点击偏好向量的组合；

项目点击预测单元，对于每个会话序列，由计算出的全局偏好向量以及该会话中用户局部点击偏好向量的组合预测每个项目成为下一次点击的概率。

9.一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1-7任一所述的一种基于图卷积神经网络的会话序列推荐方法。

10.一种计算机设备，包括：处理器、网络接口和存储器，所述存储器存储有可执行程序代码，所述网络接口受所述处理器的控制用于收发消息，其特征是，所述处理器用于调用所述可执行程序代码，执行上述权利要求1-7任一所述的一种基于图卷积神经网络的会话序列推荐方法。