CN114896515A - 基于时间间隔的自监督学习协同序列推荐方法、设备和介质 - Google Patents

Abstract

本发明提出基于时间间隔的自监督学习协同序列推荐方法、设备和介质。本发明使用图神经网络、注意力机制、自监督等技术构建基于时间间隔的自监督学习协同序列推荐模型，利用用户个人信息与交互数据，完成注意力权重改变机制和自监督学习，模型在训练过程中不断更改其中相关参数，充分考虑到了用户的周期性兴趣，并将协同信息与序列信息进行有效的融合，大大提高了个性化推荐性能。

Description

基于时间间隔的自监督学习协同序列推荐方法、设备和介质

技术领域

本发明属于个性化推荐技术领域，特别是涉及基于时间间隔的自监督学习协同序列推荐方法、设备和介质。

背景技术

随着信息技术的不断发展，互联网在当今社会中发挥着越来越大的作用，人们每天会在互联网上进行着诸如：观看视频、小说、购物、浏览新闻等众多事项。但是随着信息的不断增多，人们也需要花费很多的时间从网络上选择自己真正感兴趣的内容，这也带给了人们众多的不便，因此，为了解决“信息过载”所带来的在人们日常生活中的诸多问题，推荐***应运而生，他会判断并预测用户的需求，并将用户最有可能感兴趣的内容推荐给用户，这给人们带来了极大的便利，缓解了人们从海量信息中进行选择的烦恼。

推荐***的核心在于利用用户的属性、历史交互序列等信息来建模用户的偏好，得到更佳的用户表示，并以此来推断出用户可能感兴趣的项目，因此，推荐***必须具有识别出用户偏好和预测用户对于项目是否感兴趣的能力，对于个性化推荐来说，对于不同的用户，需要得到不同的用户偏好与表示。根据实现上述能力方法的不同，现有的推荐算法大致可以分为基于内容、基于社交信息等方面，其中，基于内容的推荐是建立在项目的信息基础上作出的推荐，不需要根据用户对于项目的评价意见，更多的是通过用户交互过的项目，利用机器学习的方法从关于内容特征描述中得到用户所需要的兴趣与表示。

日前，随着研究的不断深入，基于内容的推荐也进行了进一步的细化，序列推荐也因此产生，其作为基于内容推荐的一种，因为其能够进一步的拟合出关于用户的兴趣转移情况而受到了广泛的关注，因此，在序列推荐当中也出现了基于图的推荐，基于深度学习的推荐，基于矩阵分解的推荐等；序列推荐的早期研究利用马尔可夫链来挖掘历史数据中的序列模式。FMPC通过结合一阶马尔可夫链和矩阵分解来对用户的长期偏好进行建模，以进行下一篮子推荐。在深度学习时代，研究人员利用不同的神经网络进行顺序推荐。GRU4Rec是第一个将循环神经网络(RNN)应用于基于会话的推荐的模型。Caser将卷积神经网络(CNN)作为骨干网络，将最近的项目嵌入到“图像”中，从而使用卷积滤波器学习序列模式作为图像的局部特征。SASRec捕获基于自注意力的序列动态。CTA提出使用多个核函数来学习时间动态，然后在上下文信息中部署不同的加权核。IMfOU使用相对推荐时间间隔来对用户表示进行建模。通过引入知识图谱，Chrous构建了两个不同项目之间的关系，并考虑交互时间和推荐时间之间的距离来进行推荐。还有其他基于self-attention的最新结果。上述模型通常假设下一个要推荐的项目严重依赖于最近的交互，这在实践中通常不成立。SLRC使用霍克斯过程来模拟重复消费的时间动态，但是其仅仅意识到了对于不同的项目来说，有着不同的时间周期，却忽略了对于同一个项目来说，其在不同用户当中，生命周期也是不同的，这会导致***无法学习到用户表示，因此会对最终的推荐性能产生影响。

发明内容

本发明目的是针对个性化推荐问题，克服现有技术的不足，使用注意力机制、图神经网络等技术，充分考虑和挖掘用户间的多种关系，提出了基于时间间隔的自监督学习协同序列推荐方法、设备和介质。

本发明是通过以下技术方案实现的，本发明提出基于时间间隔的自监督学习协同序列推荐方法，所述方法具体包括以下步骤：

步骤1：获得用户个人信息和用户交互序列数据集，将数据集进行预处理并分为训练集和测试集；

步骤2：构建具有自监督的时间间隔感知序列推荐模型；

步骤3：对步骤2所述构建具有自监督的时间间隔感知序列推荐模型进行训练；

步骤4：将待推荐用户交互序列输入到步骤3中训练后的构建具有自监督的时间间隔感知序列推荐模型，计算待推荐项目相对于该用户的推荐得分，根据推荐得分将项目推荐给用户。

进一步地，所述步骤1包括以下步骤：

步骤1.1：从用户交互序列数据集中，提取用户的交互序列；

步骤1.2：将预处理好的数据集，划分为训练集和测试集。

进一步地，所述步骤2包括以下步骤：

步骤2.1:获得用户个人信息嵌入表示和用户交互序列的嵌入表示；

步骤2.2:构建用户项目二部图，学习得到更佳的用户表示与项目表示；

步骤2.3:将用户的历史交互记录作为门控循环单元的输入，输入到门控循环单元当中，学习到具有序列信息的用户表示；

步骤2.4:将用户表示与序列中的项目之间进行注意力机制，计算用户对于每个物品的注意力得分；

步骤2.5:通过注意力权重改变机制，改变用户对于每一个项目的注意力权重的值，并按照改变后的注意力权重重新完成对于项目的聚集，生成更佳的具有序列信息的用户表示；

步骤2.6:通过自监督技术，完成具有序列信息与协同信息用户表示的聚合；

步骤2.7:将步骤2.6中优化得到的用户表示与门控循环单元生成的原始用户表示进行有效的融合，获得最终用户表示，并用于之后的推荐。

进一步地，所述步骤3包括以下步骤：

步骤3.1:将步骤1中训练集的数据输入到步骤2的模型当中，得到最终用户的最终向量表示；

步骤3.2:将用户的最终向量表示输入到预测模块当中，得到用户对于项目的预测得分；

步骤3.3:通过计算预测评分值与真实值之间的差值来更新模型的参数，以优化损失函数，训练得到最优的具有自监督学习的时间间隔感知协同序列推荐模型。

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于时间间隔的自监督学习协同序列推荐方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述基于时间间隔的自监督学习协同序列推荐方法的步骤。

与现有技术相比，本发明的有益效果在于对于注意力的得分进行了基于时间间隔的动态调整，以使推荐过程不再如传统的方法中距离用户交互时间越近的所占的比重越大，同时，通过自监督技术，将具有序列信息的用户表示和具有协同信息的用户表示进行了有效的融合，得到了更佳的用户表示，提升推荐性能。

附图说明

图1为具有自监督学习的时间间隔感知协同序列推荐方法的流程图；

图2为具有自监督学习的时间间隔感知协同序列推荐方法的模型图；

图3为经过注意力权重改变样例图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图2所示，本发明提供了具有自监督的时间间隔感知序列推荐方法，具体包括以下步骤：

步骤1:获得用户个人信息、用户交互序列数据集，将数据集分为训练集和测试集并进行预处理；

所属步骤1具体包含以下步骤：

步骤1.1:从用户交互序列的数据集中，提取用户的交互序列，例如用户对于商品，微博、广告等项目的序列行历史交互记录；

步骤1.2:将数据集进行预处理，过滤数据集中多端的用户交互记录以及过于冷门的物品，例如，用户交互序列小于5，物品被交互次数小于5；

步骤1.3:按照留一法，取最后一个交互的物品作为测试集，其余的作为训练集；

步骤2:构建具有自监督的时间间隔感知序列推荐模型。

所述步骤2具体包含以下步骤：

步骤2.1:获得用户个人信息嵌入表示和用户交互序列的嵌入表示，首先使用独立热编码获得每个项目v与每个用户u的的ID编码。

在步骤2.1中，令U，I，T分别为数据集中的用户集，项目集，时间集。对于每一个属于U的用户u，设定用户的交互序列为：[(s₁,t₁),(s₂,t₂),···,(s_n,t_n)],这里的s_i属于项目集，t_i属于时间集，每一对(s_i，t_i)表示用户在时间戳t_i处与项目s_i交互。O⁺＝{y_ui|u∈U,i∈I}。

步骤2.2:构建用户项目二部图，学习得到更佳的用户表示与项目表示；

构造一个二部图G＝{V,E}，其中节点集V＝U∪I包括所有用户和项目，边集E＝O⁺代表所有历史交互。基于图G，用户和项目之间的邻接矩阵定义为R∈R^m×n，其中m是用户数，n是项目数。对于R中的每个交互对(u,i)，如果用户u未与项目i交互，则r_ui＝0；否则，r_ui是用户u和项目i之间的交互次数。令E^I∈R^n×d为项目嵌入层生成的项目嵌入矩阵，e_i ^I为项目i的嵌入向量，E^U∈R^m×d为用户嵌入层生成的用户嵌入矩阵，e_j ^U为嵌入用户j的向量，其中e_i ^I∈E^I，e_j ^U∈E^U，d是嵌入大小。

使用图卷积网络来获取用户的协作信息。首先从用户-项目交互构建邻接矩阵。以一个用户为例。对于任何交互的用户-项目对(u，i)，将第l层的信息传递过程定义为：

其中W₁,W₂∈R^d×d是可训练的权重矩阵，用于在传播过程中提取有用信息，而p_ui是控制衰减因子的系数。e_u ^(l-1)是从前一层生成的用户表示，它记住来自其(l-1)跳邻居的消息。同时加入用户自循环，保证原始信息的保留。然后，可以得到用户u在第l层的表示。请注意，e⁽⁰⁾ _u和e⁽⁰⁾ _i分别被初始化为e_u ^U和e_i ^I。用户(或项目)能够接收从其l跳邻居传播的消息。在第l层，用户u的表示通过以下方式更新：

其中N_u表示用户u的l跳邻居。对项目执行相同的操作。在用l层传播后，获得了用户u和项目i的多个表示。图卷积网络由于在不同层获得的表征强调不同连接传递的信息，它们可以反映用户(或物品)的不同特征。因此，将它们连接起来构成每个用户(或每个项目)的最终嵌入，得到最终的用户嵌入和项目嵌入如下：

这里||是串联操作。这样做，一方面，可以通过嵌入传播层来丰富初始嵌入；另一方面，可以通过调整l来控制传播范围。

步骤2.3:将步骤2.2中学习得到的用户表示作为门控循环单元的输入，输入到门控循环单元当中，学习到具有序列信息的用户表示；

在步骤2.3中，为了捕获序列中项目之间的顺序性，向序列中的每个项目注入了一个可学习的位置嵌入：

其中e_i ^*是上一步中获得的项目表示。特别地，定义Xu＝[e₁ ^s,e₂ ^s,···,e_L ^s]作为没有时间戳的用户序列，旨在了解用户历史交互序列的影响。选择门控循环单元来捕获用户的序列信息：

步骤2.4:将用户表示与序列中的项目之间进行注意力机制，计算用户对于每个物品的注意力得分；

其中e_i ^s是X_u的第i项。

然后使用强度函数来构造时间间隔对注意力值的影响，一般来说，现有的大多数方法都假设项目越接近推荐时间，它对推荐结果的影响就越大。但是，根据观察，某些项目对最终推荐的影响需要一段时间后才能体现。为了解决这个问题，在基于序列信息从门控循环单元获得用户表示后，首先计算序列中每个项目的注意力分数为：

其中△t是物品交互时间和推荐时间之间的时间间隔，N(△t|μ_i ^u,σ_i ^u)是均值为μ_i ^u和标准差σ_i ^u的高斯分布，用π来控制变化比率。这里μ和σ是根据用户购买的物品学习的。因此，可以根据不同用户对不同项目的学习强度函数的变化，调整相应的注意力得分。通过引入核函数，最近交互的项目可能比之前的项目具有更低的注意力分数。

步骤2.5:通过注意力权重改变机制，改变用户对于每一个项目的注意力权重的值，并按照改变后的注意力权重重新完成对于项目的聚集，生成更佳的具有序列信息的用户表示；

结合图3，在步骤2.5中，结合从上述调整后的注意力权重中学到的权重来描绘用户表示：

步骤2.6:通过自监督技术，完成具有序列信息与协同信息用户表示的聚合；

在步骤2.6中，受到图上自监督学习成功的启发，将自监督学习整合到提出的网络中，以结合来自顺序信息和协作信息的用户表示，以进一步增强用户表示。特别是，通过以下两个步骤设计了一个辅助任务来使推荐任务受益。

1：创建自我监督信号。在本发明所述方法中，以两种方式生成用户表示，即门控循环单元和图卷积网络。由于这两种方法仅使用顺序信息或协作信息，因此两种类型的用户嵌入可以有效地相互补充，从而产生更丰富的用户表示。对于在训练过程中每个批量包含n个用户，两种类型的用户嵌入之间存在双射映射。自然地，这两种类型可以相互作为自监督学习的基本事实。如果两个用户嵌入都代表同一个用户，将这对标记为正面真实情况，否则将其标记为负面。

2:自监督学习。对比了两种类型的用户嵌入，并采用InforNCE在来自真实样本(正)和损坏样本(负)的样本之间的标准二元交叉熵损失作为学习目标，其定义如下：

其中，e_u ^g是图卷积网络得到的用户表示，e_u ^S是门控循环单元得到的用户表示，f_D(·):R^d×R^d→R是判别器函数，它以两个向量作为输入，然后对它们之间的一致性进行评分。将判别器实现为两个向量之间的点积。该学习目标用于最大化以不同方式学习的用户嵌入之间的互信息,通过这样做，他们可以从彼此获取信息以提高他们的性能。

步骤2.7:将步骤2.6中优化得到的用户表示与门控循环单元生成的原始用户表示进行有效的融合，获得最终用户表示，并用于之后的推荐。

其中，为了获得最终的用户表示，使用线性策略将权重调整后的用户表示(e_u ^adj)和通过门控循环单元获得的用户表示(e_u ^S)进行融合：

步骤3：对步骤2中具有自监督学习的时间间隔感知协同序列推荐模型进行训练，具体包含一下步骤：

步骤3.1：将步骤1中训练集的数据输入到步骤2的模型当中，得到最终用户的最终向量表示；

步骤3.2：将用户的最终表示输入到预测模块当中，得到用户对于项目的预测得分；

如图2所示，对于用户a，步骤3.2所属的预测模块讲过用户a的最终表示向量e_a和候选项目z的向量表示e_z进行内积运算，并通过softmax函数运算得到用户a相对于候选项目z的推荐得分；

步骤3.3:通过计算预测评分值与真实值之间的差值来更新模型的参数，以优化损失函数，训练得到的最优的具有自监督学习的时间间隔感知协同序列推荐模型。

其中，步骤3.3中所属的损失函数的计算过程如下：

其中Θ＝{E^I,E^U,E^P,E^μ,E^σ}是模型参数的子集，包括项目嵌入矩阵、位置嵌入矩阵、用户嵌入矩阵、mu矩阵和sigma矩阵。||·||表示Frobenius范数，λ是正则化参数，σ(·)是sigmoid激活函数。D是训练数据集，其中包括真实交互对(u,t,i)和u在时间t未与之交互的负样本项j。

最后，将推荐任务和步骤2.6中的自监督任务统一为一个主辅学习框架，以推荐任务为主要任务，自监督任务为辅助任务。联合学习目标形式化为：

其中β控制自监督任务的影响。

步骤4:将待推荐的用户的个人信息和交互序列输入到步骤3经过训练更新优化之后的具有自监督的时间间隔感知序列推荐模型当中，计算待推荐项目对于该用户的得分，根据推荐得分，将项目推荐给用户。

通过计算用户的嵌入e_u和每个候选项目的嵌入e_o之间的相似度得分来生成推荐列表，其中r_o＝e_ue_o ^T，并选择具有最高相似度得分的前K个候选项目。

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于时间间隔的自监督学习协同序列推荐方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述基于时间间隔的自监督学习协同序列推荐方法的步骤。

以上对本发明所提出的基于时间间隔的自监督学习协同序列推荐方法、设备和介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.基于时间间隔的自监督学习协同序列推荐方法，其特征在于，所述方法具体包括以下步骤：

步骤1：获得用户个人信息和用户交互序列数据集，将数据集进行预处理并分为训练集和测试集；

步骤2：构建具有自监督的时间间隔感知序列推荐模型；

步骤3：对步骤2所述构建具有自监督的时间间隔感知序列推荐模型进行训练；

步骤4：将待推荐用户交互序列输入到步骤3中训练后的构建具有自监督的时间间隔感知序列推荐模型，计算待推荐项目相对于该用户的推荐得分，根据推荐得分将项目推荐给用户。

2.根据权利要求1所述的基于时间间隔的自监督学习协同序列推荐方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1：从用户交互序列数据集中，提取用户的交互序列；

步骤1.2：将预处理好的数据集，划分为训练集和测试集。

3.根据权利要求1所述的基于时间间隔的自监督学习协同序列推荐方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1:获得用户个人信息嵌入表示和用户交互序列的嵌入表示；

步骤2.2:构建用户项目二部图，学习得到更佳的用户表示与项目表示；

步骤2.3:将用户的历史交互记录作为门控循环单元的输入，输入到门控循环单元当中，学习到具有序列信息的用户表示；

步骤2.4:将用户表示与序列中的项目之间进行注意力机制，计算用户对于每个物品的注意力得分；

步骤2.5:通过注意力权重改变机制，改变用户对于每一个项目的注意力权重的值，并按照改变后的注意力权重重新完成对于项目的聚集，生成更佳的具有序列信息的用户表示；

步骤2.6:通过自监督技术，完成具有序列信息与协同信息用户表示的聚合；

步骤2.7:将步骤2.6中优化得到的用户表示与门控循环单元生成的原始用户表示进行有效的融合，获得最终用户表示，并用于之后的推荐。

4.根据权利要求1所述的基于时间间隔的自监督学习协同序列推荐方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1:将步骤1中训练集的数据输入到步骤2的模型当中，得到最终用户的最终向量表示；

步骤3.2:将用户的最终向量表示输入到预测模块当中，得到用户对于项目的预测得分；

步骤3.3:通过计算预测评分值与真实值之间的差值来更新模型的参数，以优化损失函数，训练得到最优的具有自监督学习的时间间隔感知协同序列推荐模型。

5.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法的步骤。

6.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。

Images