CN114997476A - 一种融合商品关联关系的商品预测方法 - Google Patents

Abstract

本发明公开了一种融合商品关联关系的商品预测方法，属于商品个性化预测***技术领域，包括以下步骤：通过用户对商品的历史交互记录，确立用户‑商品二部图；根据用户对商品的历史交互序列，确立商品‑商品同构图；采用图卷积神经网络和图嵌入算法构建用于特征学习的双塔模型；对双塔模型进行特征初始化；采用改进的BPR损失函数对双塔模型进行训练，获取训练后用户和商品节点低维稠密的嵌入表示；根据训练后的用户和商品嵌入表示计算用户于测试集商品的得分，并根据得分进行排序，从而对用户进行商品推荐。本发明能够解决数据集存在的用户与商品交互信息稀缺以及交互序列长短不一的问题，并提高个性化预测的精度。

Description

一种融合商品关联关系的商品预测方法

技术领域

本发明涉及商品个性化预测***技术领域，尤其是一种融合商品关联关系的商品预测方法。

背景技术

近年来，随着5G时代的到来，手机等移动智能终端的普及，网络购物规模呈现持续扩大趋势。由此，产生的数据呈现指数级增长，而这些数据中蕴含着丰富的信息，而无论是商家还是用户，面对如果庞大的数据量都难以获取其中关键有效的信息。因此，如何从这些数据中快速且有效的挖掘有价值的信息对于二者都具有重要意义。预测***作为解决“信息过载”的一种重要手段，可以通过相应的预测方法从海量的数据中预测用户未来可能感兴趣的商品，因此提高预测方法的精准度是预测***的关键。

目前，基于异构图卷积的预测***在商品预测领域取得较好效果，该***主要通过构建基于用户-商品的二部图实现商品预测。例如，基于图卷积的协同过滤推荐算法NGCF，通过设计一种在图上递归传播的神经网络方法来学习用户和商品的嵌入表示。随后，LightGCN在NGCF的基础上进一步优化和精简模型，通过广泛的消融实验得出结论，使用符号表示用户节点和商品节点的网络结构，特征变换和非线性激活对NGCF的有效性没有贡献，反而会降低模型的性能。在LightGCN中，作者构建了用户-商品二部图进行表征学习，具体地说，在将每个用户(商品)与ID嵌入关联之后，在用户-商品交互图上传播嵌入表示以改进它们。然后将不同传播层的嵌入信息与加权和相结合，得到最终的预测嵌入信息。

然而现在的技术大多是在用户和商品二部图的基础上进行实验，而用户和商品之间的交互存在严重的数据稀缺性，即在大量的商品中，每个用户交互过的商品数量仅为少数。因此单纯的采用用户和商品关系进行建模，很容易因为数据的稀缺性而无法获取精准的用户和商品嵌入表示，从而导致预测精度的不足。

发明内容

本发明需要解决的技术问题是提供一种融合商品关联关系的商品预测方法，能够解决数据集存在的用户与商品交互信息稀缺以及交互序列长短不一的问题，提高个性化预测的精度，利用用户对商品的历史交互序列在用户-商品二部图的基础上构建了商品-商品网络，同时在模型训练过程中采用同步蒸馏的方法来提高模型精度。

为解决上述技术问题，本发明所采用的技术方案是：

一种融合商品关联关系的商品预测方法，包括以下步骤：

S1、通过用户对商品的历史交互记录，确立用户-商品二部图；

S2、根据用户对商品的历史交互序列，确立商品-商品同构图；

S3、根据采用图卷积神经网络和图嵌入算法构建用于特征学习的双塔模型；

S4、对双塔模型进行特征初始化；

S5、采用改进的BPR损失函数对双塔模型进行训练，获取训练后用户和商品节点低维稠密的嵌入表示；

S6、根据训练后的用户和商品嵌入表示计算用户于测试集商品的得分，并根据得分进行排序，从而对用户进行商品推荐。

本发明技术方案的进一步改进在于：S1中，所述用户-商品二部图的构建是通过每个用户对商品的历史交互序列构建而成，若用户与某商品存在交互行为，则二者之间建立边。

本发明技术方案的进一步改进在于：S2中，所述商品-商品同构图的构建是通过每个用户对商品的历史交互序列构建而成，若用户的对商品的历史交互序列中连续的两个商品被交互的时间间隔小于时间阈值Δt，则在商品-商品同构图中二者之间存在边，该边的权重为遍历所有用户的历史交互序列后符合上述时间条件的商品对个数的加和。

本发明技术方案的进一步改进在于：S3中，所述双塔模型左侧为基于用户-商品二部图的图卷积结构，右侧为基于商品-商品同构网络的图嵌入结构；所述图卷积神经网络采用邻居聚合的方式，所述图嵌入结构采用和二阶相似度的构建方法构建。

本发明技术方案的进一步改进在于：所述二阶相似度构建方法具体包括以下步骤：

B1、假设商品节点i₁、i₂之间存在边e＝(i₁,i₂)，i₁(i₂)作为中心节点的向量为

作为上下文节点的向量为

定义在以i₁为中心节点的情况下生成上下文节点i₂的概率如下式：

其中，|V|表示网络中节点个数，因此，节点i₁的其它上下文节点的分布概率可以表示为p₂(·|i₁)；

B2、商品节点i₁、i₂之间同样存在经验分布概率如下式：

其中，

为边e＝(i₁,i₂)的权重，N(i₁)表示以i₁为中心节点时其上下文节点集合，即节点i₁的邻居节点集合；

B3、使条件分布逼近经验分布，引入KL散度来刻画条件分布和经验分布之间的距离，并采用节点的度d_j来表示该节点在网络中的权重，得到二阶相似度训练模型目标函数如下所示：

B4、通过消除无影响参数化简得到以下公式，并通过最小化该公式获得低维稠密的商品嵌入表示：

本发明技术方案的进一步改进在于：所述改进的BPR损失函数为在传统BPR损失函数的基础上，采用同步蒸馏的方式，让权重相互独立的左侧模型和右侧模型相互学习，达到进一步优化模型的目的。

本发明技术方案的进一步改进在于：改进的BPR损失函数如下所示：

其中，D₁＝{(u,i⁺,i^-)|(u,i⁺)∈R⁺,(u,i^-)∈R^-}，R⁺表示成对出现的正训练样本即用户与商品存在交互行为，R^-表示成对出现的负训练样本即用户与商品不存在实际交互行为；D₂＝{(u^l,i^l+)∈R^l+}，表示左侧模型结构得到的正样本用户-商品嵌入数据对集合，且为正样本；同样，D₃＝{(u^r,i^r+)∈R^r+}表示右侧模型结构得到的正样本用户-商品嵌入数据对集合，

表示左侧结构的用户对正样本的得分，

表示右侧模型结构用户对正样本的得分，通过

使得两侧结构在反向传播的过程中相互学习；σ表示Sigmoid函数，λ||Θ||²为正则项，其中λ是正则项的可调整参数，||·||²是二范数，通过调节参数大小防止过拟合；Θ在本损失函数中实际为用户和商品的初始表示向量，即

其中

本发明技术方案的进一步改进在于：S6具体包括以下步骤：

S6.1嵌入连接层通过将双塔模型结构得到的两组用户嵌入表示和商品嵌入表示进行拼接操作得到最终得用户和商品的嵌入矩阵表示，如下式所示：

S6.2计算用户和商品之间的相似度评分；

用户u_i与商品i_j之间的相似度得分如下式所示：

其中，

和

分别表示用户u_i与商品i_j最终嵌入表示；

S6.3针对每个用户，选取对测试集所有商品的得分排序后的前k个商品进行推荐。

由于采用了上述技术方案，本发明取得的技术进步是：

1、本发明提出了通过构建商品-商品网络深入挖掘商品之间的关联关系，达到更加精准提取用户对商品的偏好信息，从而提高预测精度。

2、本发明针对双塔模型结构，借鉴同步蒸馏中两个模型之间相互学习的特点，在BPR损失函数中引入左侧结构正样本得分与右侧结构正样本得分差，使得左右模型在反向传播的过程中进行有效的相互学习。

3、本发明在Amazon的三个公开数据集上进行大量的对比实验，结果表明，本发明提出的预测模型对于提高商品预测效果具有一定作用。

附图说明

图1是本发明中本模型匹配流程示意图；

图2是本发明中整体模型图；

图3是本发明中模型参数统计；

图4是本发明中基础协同过滤模型示意图；

图5是本发明中迭代层数对比实验；

图6是本发明中一阶相似度示意图

图7是本发明中二阶相似度示意图；

图8是本发明中一阶相似度与二阶相似度对比实验；

图9是本发明中不同维度对比实验；

图10是本发明中不同维度结果折线图；

图11本发明提出的双塔模型排序算法原理图；

图12本发明中最终实验结果。

具体实施方式

下面结合附图及实施例对本发明做进一步详细说明：

如图1所示，一种融合商品关联关系的商品预测方法，包括以下步骤：

S1、通过用户对商品的历史交互记录，确立用户-商品二部图；

用户-商品二部图的构建是通过每个用户对商品的历史交互序列构建而成，若用户与某商品存在交互行为，则二者之间建立边。用户交互序列记作

其中，U为用户集合，用户u_i的交互序列可记为

在用户交互序列D的基础上，构建用户-商品二部图G_ui＝(V_ui,E_ui)，其中，节点集V_ui＝{U∪I}包括用户集合U＝{u}以及商品集合I＝{i}，表示用户节点与商品节点存在交互行为。

S2、根据用户对商品的历史交互序列，确立商品-商品同构图；

商品-商品同构图的构建是通过每个用户对商品的历史交互序列构建而成，若某个用户的对商品的历史交互序列中连续的两个商品被交互的时间间隔小于时间阈值Δt，则在商品-商品同构图中二者之间存在边，该边的权重为遍历所有用户的历史交互序列后符合上述时间条件的商品对个数的加和。已知用户交互序列D，构建商品-商品网络G_ii＝(V_ii,E_ii)，其中，V_ii＝{I}表示商品集；若用户u(u∈U)的历史交互商品

与商品

在时间序列中为相邻商品且产生行为的时间差

则在商品

与商品

建立边关系，记为E_ii。

S3、根据采用图卷积神经网络和图嵌入算法构建用于特征学习的双塔模型；

如图2所示，“双塔”模型记作为BiInf模型，所述双塔模型左侧为基于用户-商品二部图的图卷积结构，右侧为基于商品-商品同构网络的图嵌入结构，模型参数如图3所示；双塔模型基于协同过滤模型进行改进，基础模型如图4所示。

基于用户-商品二部图的图卷积结构，包括二部图构建和嵌入传播层，并在嵌入传播层构建类似GCN传播架构，通过迭代的方法执行图卷积操作，最终使每个节点都聚合邻居节点特征，并且迭代层数作为可调参数进行实验，实验结果如图5所示。图卷积神经网络采用邻居聚合的方式，摒弃了传统的图神经网络中的非线性变换和权重参数；图嵌入算法分别采用了一阶相似度和二阶相似度的构建方法，充分考虑了网络的局部结构特征。

首先根据用户和商品之间的交互关系构建用户-商品二部图。然后通过嵌入层获取用户ID和商品ID的嵌入表示，在嵌入传播层构建类似GCN的传播架构，通过迭代的方法执行图卷积操作，最终使每个节点都聚合邻居节点特征，用户节点聚合方式和商品节点聚合方式如下式所示，具体来说，以用户节点u为例，在第k+1层图卷积中的u节点聚合了第k层邻居节点的特征：

其中，N_u表示用户u的邻居集合，N_i表示商品i的邻居集合，

表示第k+1层用户u的特征表示，

表示第k层商品的特征表示。

在节点特征聚合过程中，引入对称归一化项，可以有效防止图卷积过程中嵌入规模的过度增大。最终由左侧获得的用户和商品的嵌入表示如下所示，最终表示由各个卷积层的嵌入表示有权相加。将左侧模型结构获得的用户和商品嵌入表示记作

和

其中，

为可调权重参数。

右侧为基于商品-商品同构网络的图嵌入结构，构建商品-商品同构图，通过嵌入层获取的商品节点的初始嵌入表示。然后分别采用一阶相似度和二阶相似度训练模型。一阶相似度考虑到网络中某两个节点为直接相连的邻居节点如图6所示，则说明该节点对的关系更加密切，应当存在较高的相似性。基于商品-商品同构网络的图嵌入结构，首先，根据S2构建的商品-商品同构图，通过嵌入层获取商品节点的初始嵌入表示；然后，采用图嵌入模型进行训练。

一阶相似度主要表征网络中的局部相似性结构，一阶相似度训练模型构建具体包括以下步骤：

A1、假设在商品-商品同构图中商品节点i₁、i₂之间存在边e＝(i₁,i₂),且i₁和i₂的嵌入表示分别为

和

A2、定义商品i₁商品i₂之间共现的概率如下所示：

A3、定义商品i₁商品i₂之间存在的经验分布如下所示：

其中，

表示边e＝(i₁,i₂)的权重，W为图中所有边的权重之和；

A4、一阶相似度训练模型目标是使共现概率尽可能逼近经验分布，即最小化以下公式：

其中，d表示两个分布之间的距离，共现概率为两个商品共同被某用户所交互的概率。

A5、为了表征分布之间的距离，引入KL散度，因此可以将O₁简化为以下公式，并通过最小化该目标公式获得低维稠密的商品节点嵌入表示：

当构建商品-商品网络之后，直接相连的两个节点之间固然关系紧密，但未能充分体现网络的结构信息。这里将节点的邻居作为当前节点的上下文信息，假设两个节点存在较多的共同邻居，也即两个节点具有更相似的上下文信息，那么二者之间的关系更为密切，如图7所示。在实际的商品-商品网络中，直接相连的两个商品节点之间存在着被先后交互行为，如被购买、被点击、被收藏等，若只考虑相连商品二者之间关系，则忽略了网络更多的结构信息。在此基础上，二阶相似度在计算节点嵌入表示时，既聚合了邻居节点信息又考虑了节点的结构信息，也即节点的上下文信息。

二阶相似度侧重于网络整体结构，训练模型构建具体包括以下步骤：

B1、假设商品节点i₁、i₂之间存在边e＝(i₁,i₂)，i₁(i₂)作为中心节点的向量为

作为上下文节点的向量为

定义在以i₁为中心节点的情况下生成上下文节点i₂的概率如下式：

其中，|V|表示网络中节点个数，因此，节点i₁的其它上下文节点的分布概率可以表示为p₂(·|i₁)；

B2、商品节点i₁、i₂之间同样存在经验分布概率如下式：

其中，

为边e＝(i₁,i₂)的权重，N(i₁)表示以i₁为中心节点时其上下文节点集合，即节点i₁的邻居节点集合；

B3、与一阶相似度采用同样方式，使条件分布逼近经验分布，引入KL散度来刻画条件分布和经验分布之间的距离，并采用节点的度d_j来表示该节点在网络中的权重，因此可以得到二阶相似度训练模型目标函数如下所示：

B4、最终通过消除无影响参数化简得到以下公式，并通过最小化该公式获得低维稠密的商品嵌入表示：

通过一阶相似度或者二阶相似度获得商品节点嵌入表示后，将用户交互的所有商品嵌入表示取平均作为用户节点的嵌入表示，如下式所示：

其中，S(u_j)表示用户u_j的历史交互商品集合。

最终，由左侧塔结构得到用户和商品得嵌入表示，分别记为

并由一阶相似度和二阶相似度计算结果进行对比如图8所示，可知采用二阶相似度进行建模效果更好，因此图嵌入算法选用二阶相似度构建方法。

S4、对双塔模型进行特征初始化；

特征初始化是将所有的用户ID和商品ID赋予一定维度的初始嵌入表示。将双塔模型中所有的用户和商品进行节点编号，并针对每个节点进行嵌入表示初始化处理，同时，初始化维度作为可调参数可以通过评价指标进行调节，不同维度参数对比实验结果如图9、图10所示。

S5、采用改进的BPR损失函数对双塔模型进行训练，获取训练后用户和商品节点低维稠密的嵌入表示；

实验采用在推荐***中广泛使用的贝叶斯个性化排序(Bayesian PersonalizedRanking,简称BPR)损失，该损失函数是基于贝叶斯后验优化的个性化排序算法。核心是通过对用户的相对偏好进行建模，最终根据用户偏好计算其可能感兴趣的物品。改进的BPR损失函数，在传统BPR损失函数的基础上，采用同步蒸馏的方式，让权重相互独立的左侧模型和右侧模型相互学习，达到进一步优化模型的目的，改进的BPR损失函数如下所示：

其中，D₁＝{(u,i⁺,i^-)|(u,i⁺)∈R⁺,(u,i^-)∈R^-}，R⁺表示成对出现的正训练样本即用户与商品存在交互行为，R^-表示成对出现的负训练样本即用户与商品不存在实际交互行为；D₂＝{(u^l,i^l+)∈R^l+}，表示左侧模型结构得到的正样本用户-商品嵌入数据对集合，且为正样本；同样，D₃＝{(u^r,i^r+)∈R^r+}表示右侧模型结构得到的正样本用户-商品嵌入数据对集合，

表示左侧结构的用户对正样本的得分，

表示右侧模型结构用户对正样本的得分，通过

使得两侧结构在反向传播的过程中相互学习；σ表示Sigmoid函数，λ||Θ||²为正则项，其中λ是正则项的可调整参数，||·||²是二范数，通过调节参数大小防止过拟合；Θ在本损失函数中实际为用户和商品的初始表示向量，即

其中

因此，本模型中可训练参数为用户和商品的初始向量表示，并采用随机梯度下降的方法对模型进行优化。

S6、根据训练后的用户和商品嵌入表示计算用户于测试集商品的得分，并根据得分进行排序，从而对用户进行商品推荐；

针对双塔模型进行模型训练的到的用户和商品低维稠密的嵌入表示，计算用户于测试集商品的得分

根据得分进行排序，并选取前k个商品对该用户进行推荐。

采用了应用较为广泛的Amazon数据集和Last.fm音乐数据集进行试验。其中，Amazon数据集采用了Vedio分区商品和Automatic分区商品。以上数据集中均包括用户ID、商品ID、交互时间戳信息。针对每个用户，对其购买过的商品按时间进行排序，时间前80％作为训练集，后20％作为测试集。数据集统计结果如表1所示。

表1数据集统计表

双塔模型结构的底层为嵌入连接层和推荐预测层。嵌入连接层通过将双塔模型结构得到的两组用户嵌入表示和商品嵌入表示进行拼接操作得到最终得用户和商品的嵌入矩阵表示，并通过推荐预测层计算用户和商品之间的相似度评分，根据得分的高低对用户进行推荐，整体模型流程图如图11所示，具体包括以下步骤：

S6.1嵌入连接层通过将双塔模型结构得到的两组用户嵌入表示和商品嵌入表示进行拼接操作得到最终得用户和商品的嵌入矩阵表示，如下式所示：

S6.2计算用户和商品之间的相似度评分；

以用户u_i与商品i_j为例，二者之间的相似度得分如下式所示：

其中，

和

分别表示用户u_i与商品i_j最终嵌入表示；

S6.3针对每个用户，选取对测试集所有商品的得分排序后的前k个商品进行推荐，最终结果显示如图12所示。

综上所述，能够解决数据集存在的用户与商品交互信息稀缺以及交互序列长短不一的问题，提高个性化预测的精度，利用用户对商品的历史交互序列在用户-商品二部图的基础上构建了商品-商品网络，同时在模型训练过程中采用同步蒸馏的方法来提高模型精度。

Claims (8)

1.一种融合商品关联关系的商品预测方法，其特征在于：包括以下步骤：

S1、通过用户对商品的历史交互记录，确立用户-商品二部图；

S2、根据用户对商品的历史交互序列，确立商品-商品同构图；

S3、采用图卷积神经网络和图嵌入算法构建用于特征学习的双塔模型；

S4、对双塔模型进行特征初始化；

S5、采用改进的BPR损失函数对双塔模型进行训练，获取训练后用户和商品节点低维稠密的嵌入表示；

S6、根据训练后的用户和商品嵌入表示计算用户于测试集商品的得分，并根据得分进行排序，从而对用户进行商品推荐。

2.根据权利要求1所述的一种融合商品关联关系的商品预测方法，其特征在于：S1中，所述用户-商品二部图的构建是通过每个用户对商品的历史交互序列构建而成，若用户与某商品存在交互行为，则二者之间建立边。

3.根据权利要求1所述的一种融合商品关联关系的商品预测方法，其特征在于：S2中，所述商品-商品同构图的构建是通过每个用户对商品的历史交互序列构建而成，若用户对商品的历史交互序列中连续的两个商品被交互的时间间隔小于时间阈值Δt，则在商品-商品同构图中二者之间存在边，该边的权重为遍历所有用户的历史交互序列后符合上述时间条件的商品对个数的加和。

4.根据权利要求1所述的一种融合商品关联关系的商品预测方法，其特征在于：S3中，所述双塔模型左侧为基于用户-商品二部图的图卷积结构，右侧为基于商品-商品同构网络的图嵌入结构；所述图卷积神经网络采用邻居聚合的方式，所述图嵌入结构采用和二阶相似度的构建方法构建。

5.根据权利要求4所述的一种融合商品关联关系的商品预测方法，其特征在于：所述二阶相似度构建方法具体包括以下步骤：

B1、假设商品节点i₁、i₂之间存在边e＝(i₁,i₂)，i₁(i₂)作为中心节点的向量为

作为上下文节点的向量为

定义在以i₁为中心节点的情况下生成上下文节点i₂的概率如下式：

其中，|V|表示网络中节点个数，因此，节点i₁的其它上下文节点的分布概率可以表示为p₂(·|i₁)；

B2、商品节点i₁、i₂之间同样存在经验分布概率如下式：

其中，

为边e＝(i₁,i₂)的权重，N(i₁)表示以i₁为中心节点时其上下文节点集合，即节点i₁的邻居节点集合；

B3、使条件分布逼近经验分布，引入KL散度来刻画条件分布和经验分布之间的距离，并采用节点的度d_j来表示该节点在网络中的权重，得到二阶相似度训练模型目标函数如下所示：

B4、通过消除无影响参数化简得到以下公式，并通过最小化该公式获得低维稠密的商品嵌入表示：

6.根据权利要求1所述的一种融合商品关联关系的商品预测方法，其特征在于：所述改进的BPR损失函数为在传统BPR损失函数的基础上，采用同步蒸馏的方式，让权重相互独立的左侧模型和右侧模型相互学习，达到进一步优化模型的目的。

7.根据权利要求6所述的一种融合商品关联关系的商品预测方法，其特征在于：所述改进的BPR损失函数如下所示：

其中，D₁＝{(u,i⁺,i^-)|(u,i⁺)∈R⁺,(u,i^-)∈R^-}，R⁺表示成对出现的正训练样本即用户与商品存在交互行为，R^-表示成对出现的负训练样本即用户与商品不存在实际交互行为；D₂＝{(u^l,i^l+)∈R^l+}，表示左侧模型结构得到的正样本用户-商品入数据对集合，且为正样本；同样，D₃＝{(u^r,i^r+)∈R^r+}表示右侧模型结构得到的正样本用户-商品嵌入数据对集合，

表示左侧结构的用户对正样本的得分，

表示右侧模型结构用户对正样本的得分，通过

使得两侧结构在反向传播的过程中相互学习；σ表示Sigmoid函数，λ||Θ||²为正则项，其中λ是正则项的可调整参数，||·||²是二范数，通过调节参数大小防止过拟合；Θ在本损失函数中实际为用户和商品的初始表示向量，即

其中

8.根据权利要求1所述的一种融合商品关联关系的商品预测方法，其特征在于：S6具体包括以下步骤：

S6.1嵌入连接层通过将双塔模型结构得到的两组用户嵌入表示和商品嵌入表示进行拼接操作得到最终得用户和商品的嵌入矩阵表示，如下式所示：

S6.2计算用户和商品之间的相似度评分；

用户u_i与商品i_j之间的相似度得分如下式所示：

其中，

和

分别表示用户u_i与商品i_j最终嵌入表示；

S6.3针对每个用户，选取对测试集所有商品的得分排序后的前k个商品进行推荐。

Images