CN115917577A

CN115917577A - 使用动态属性建模进行下一个篮子推荐的***和方法

Info

Publication number: CN115917577A
Application number: CN202180050644.XA
Authority: CN
Inventors: Y·陈; J·李; C·李; M·安德勒; C·熊; S·阿拉耶尔维; H·乌塔拉瓦利
Original assignee: Shuo Power Co
Current assignee: Shuo Power Co
Priority date: 2020-08-18
Filing date: 2021-07-29
Publication date: 2023-04-04
Also published as: WO2022039902A1; US11605118B2; US20220058714A1; EP4200761A1; JP2023537879A

Abstract

本文描述的实施方案提供了一种对具有项目和特征交互的动态属性进行建模的注意网络架构。具体地，注意网络框架首先利用时间感知填充和时间/月编码对篮子项目序列和动态属性序列进行编码，以便捕获季节模式(例如，在app推荐中，室外活动app更适合于夏季时间，而室内活动app更适合于冬季)。然后，注意网络框架将时间级注意模块应用于篮子项目序列和动态用户属性序列，以便逐篮子项目捕获以及将逐属性时间顺序模式捕获。此后，对每个篮子中的项目使用篮子内注意模块来捕获项目之间的相关信息。

Description

使用动态属性建模进行下一个篮子推荐的***和方法

交叉引用

公开文本要求2020年12月4日提交的美国专利申请号17/112765的优先权，该美国专利申请又是2020年8月18日提交的印度临时申请号202041035500的非临时申请并且要求该临时申请的优先权，这些申请的全部内容通过引用明确地结合于此。

技术领域

公开文本总体上涉及机器学习模型和神经网络，更具体地，涉及具有高阶特征和项目交互的动态属性建模的下一个篮子推荐(next basket recommendation)。

背景技术

顺序推荐广泛地应用于各种应用，例如电子商务网站中的产品推荐、视频推荐和音乐推荐。在顺序推荐设置中，用户具有与不同项目的一系列历史交互(例如，点击、购买)。推荐机制根据用户的历史行为预测连续项目。例如，通过对来自历史交互的顺序模式进行建模，顺序推荐机制推荐用户将可能在下一时间步与其交互的项目。现有的顺序推荐***仅考虑用户历史交互项目，而忽略项目或用户的属性。因此，由忽略项目或用户自身的属性的现有***做出的推荐有时可能相当不准确或甚至不相关，导致不令人满意的用户体验。

附图说明

图1示出了根据在此描述的实施方案的示出利用项目和特征交互对动态属性进行建模的示例推荐***的框图。

图2A是示出根据一个实施方案的图1中的推荐模块的示例性架构的框图，而图2B是提供图2A中所示的模块的详细结构的框图。

图3提供了示出根据本文所描述实施方案的多头自注意块(MHSAB)的示例操作的简化框图。

图4提供了示出根据本文所描述实施方案的MHSAB的示例架构的简化框图。

图5是根据一些实施方案的用于实现推荐***的计算设备的简化图，该推荐***对具有贯穿公开文本描述的项目和特征交互的动态属性建模。

图6是示出根据在此描述的一些实施方案的使用动态项目属性进行下一个篮子推荐的方法的简化逻辑流程图。

图7提供了根据在此描述的一个实施方案的推荐模块130的示例训练数据集的表汇总统计。

图8提供了示出根据在此描述的一个实施方案的与七个基线方法相比较的总体结果的表格。

图9提供了示出根据在此描述的一个实施方案的推荐模块的消融研究的表格。

图10提供了根据在此描述的一个实施方案的示例训练数据集上的平均时间级和属性内注意权重的可视化视图。

在附图和附录中，具有相同标号的元件具有相同或相似的功能。

具体实施方式

现有的顺序推荐***主要仅考虑用户历史交互项目，而忽略项目或用户的属性。特别地，由于用户兴趣和/或项目属性可能随时间改变，忽略项目或用户的动态属性的推荐可能随时间很大程度上不准确。

一些现有***可以结合静态项目属性，例如，产品的类别和品牌，从而改进推荐性能。然而，对于许多应用，还存在随时间改变的动态用户和项目属性。这样的属性提供了对用户兴趣的转移或项目属性的改变的重要描述。例如，在应用推荐设置中，存在动态属性，诸如用户在不同应用上花费的时间量，其可以逐日变化并且提供关于不同应用的用户偏好和需求的信息。又例如，在锻炼推荐设置中，用户的高度、速度和心率是可以随时间改变的相关信息。此外，在顺序推荐中通常存在季节性模式。例如，在上一个新年购买礼品卡的用户更可能在下一个新年购买礼品卡。作为另一个例子，泳衣在夏季时很流行。

在一些实施方案中，可以以下一个篮子推荐的形式进行顺序推荐，其中用户可以在每个时间步与多于一个项目交互。例如，当在线订购一餐时，人们在同一购物车中购买多个产品或订购不同的菜肴。一些现有***可以在一系列篮子项目中挖掘序列模式。然而，同一篮子中的项目之间的关系也可以提供有帮助的信息。因此，对顺序模式进行建模(例如，购买手机，然后购买手机壳)以及同一篮子中的项目之间的关系(例如，面包和黄油通常被放在一起)对于理解项目之间的关系都是重要的。例如，一些项目(例如，面包和黄油)通常被放在一起。为了捕获相同篮子中的项目之间的关系，一些现有***使用基于篮子中的项目共现的频率的相关矩阵，然后将其并入建模中，然而，其将项目之间的相关性视为静态信息而不是动态学习。

除了项目交互之外，不同特征之间的高阶交互是改善推荐性能的另一重要方面。例如，电影“冰雪奇缘”可以被推荐给10岁的女孩。三阶特征(性别：女性，年龄：10岁，类型：动画)提供了关于此推荐的有用信息。自动学习这种高阶特征交互而不是依靠领域专家来手工设计它们仍然是有挑战性的。

因此，考虑到需要提供从用户历史交互项目中捕获用户的时间交易模式和篮子内相关性，以及从动态用户/项属性中捕获隐式动态嗜好和高阶特征交互的顺序推荐，本文描述的实施方案提供了对具有项目和特征交互的动态属性建模的注意网络架构。具体地，注意网络框架首先利用时间感知填充和时间/月编码对篮子项目序列和动态属性序列进行编码，以便捕获季节模式(例如，在app推荐中，室外活动app更适合于夏季时间，而室内活动app更好地适合于冬季)。然后，注意网络框架将时间级注意模块应用于篮子项目序列和动态用户属性序列，以便将篮子项目捕获到篮子项目以及将属性捕获到属性时间顺序模式。此后，对每个篮子中的项目使用篮子内注意模块来捕获项目之间的相关信息。利用自注意，在模型训练期间自适应地学习项目之间的交互。还可以在每个时间步的属性上利用自注意模块来生成高阶特征交互。

如本文所使用的，术语“网络”可以包括任何基于硬件或软件的框架，其包括任何人工智能网络或***、神经网络或***和/或在其上或在其上实现的任何训练或学习模型。

如本文所使用的，术语“模块”可以包括执行一个或多个功能的基于硬件或软件的框架。在一些实施方案中，模块可以在一个或多个神经网络上实现。

图1示出了根据在此描述的实施方案的示出利用项目和特征交互对动态属性进行建模的示例推荐***的框图。图100示出了接收与用户110相关的动态属性113a-n、与篮子项目112相关的动态属性114a-n、时间感知因子116等的推荐***130。

例如，用户动态属性113a-n可以包括指示用户的时变或动态属性的属性，诸如年龄、位置、用户设备上的应用使用、季节性兴趣等。时间感知因子116可以包括按年算的时间，趋势(例如，某个时间在电影院上映的电影等等)等等。过去篮子的动态属性114a-n可以包括篮子项目的属性、篮子项目的动态组合的属性(例如，项目A可以经常在一年中的某个时间与项目B组合，或者可以经常在不同的时间与项目C组合，等等)，和/或类似属性。

推荐***130可以从用户和项目之间的历史交互，用户的动态属性113a-n，以及项目114a-n的动态属性中学习，从而进行下一个项目125的推荐。具体地，推荐***130可以获得用户总数为|U|的一组用户U以及项目总数为|V|的一组项目V有关的信息。用户或项目具有由F表示的一组属性，属性总数为|F|。对于任何用户u∈U，例如用户110，篮子序列

表示在时间段[0，T_u]期间按时间排序的项目交互。时间段T_u对于每个用户可以是不同的，并且T可以是每个序列中的最大时间步，其中t∈{1，2，3…，T}作为篮子的序列的一次步长。

是用户u在时间步t交互的一组项目。序列

表示按时间排序的用户u的动态用户属性的值。

是在时间步t处u的所有属性值。具体地，

表示用户u在时间t的分类属性值，

表示用户u在时间t的数字属性值。因此，推荐***130可以预测用户u(例如，用户110)将在t＝T+1时间步与给定的最大T时间历史B^u和A^u信息交互的篮子项目。

图2A是示出根据一个实施方案的图1中的推荐模块130的示例性架构的框图200a，而图2B是提供图2A中所示的模块的详细结构的框图200b。图200a示出了对具有项目和特征交互的动态属性进行建模的注意网络架构。框架可以包括输入编码器(231a和231b，或统称为231)，时间级注意模块(232a和232b，或统称为232)，篮子内模块233和属性内模块234，以及预测模块235。

输入编码器231接收篮子项目序列203和/或分类动态属性序列204的稀疏表示，并将其编码为密集表示，并且归一化数字动态属性。具体地，在每个时间步，在输入编码器231a和231b处接收最佳项目序列

和动态用户属性

在一些实现中，输入编码器231a和231b可以是并行操作的两个输入编码器。在另一实现方式中，输入编码器231a和231b可以是相同的输入编码器，其被配置为在每个时间步以任何顺序同时地、交替地或顺序地编码篮子项目序列203和动态属性序列204。

输入编码器231a可以针对篮子项目序列203中的每个篮子项目序列

获得|V|维多热表示，从而表示由

表示的项目组的信息。具体地，向量索引对应于项目ID，并且如果项目存在于篮子

中，则将其设置为1，或者如果项目不存在于篮子中，则将其设置为0。然后，输入编码器231a可以使用基于串接的查找函数来将

编码为潜在表示213，例如，

其中CONCAT-LOOKUP函数首先在

中查找项目的嵌入向量，然后将所有向量串接在一起以形成潜在表示

|Vt|是

中的项目总数。每个项目和每个类别属性的嵌入维度是D。

是用于查找的可学习嵌入矩阵。在应用“CONCAT-LOOKUP”函数之后，输入编码器231a为篮子

中的每个项目i生成相应的嵌入向量

由于每个篮子中的项目数是变化的，因此篮子中的最大项目数被设置为|V_max|，并且使用向量

(q是Q的第一嵌入向量)来填充尺寸小于|V_max|的项目。

类似地，对于动态属性序列204中的动态用户属性，分类和数值属性被不同地建模。分类属性由表示为

的|F_cat|维多热向量表示。使用最小-最大归一化将数值属性的值归一化为-1至1的范围，表示为

该输入编码器231b然后将类别属性向量表示

编码为以下的潜在表示：

其中

是用于查找的可学习嵌入矩阵；并且

是A_t,cat的潜在密集表示。

在一个实施方案中，当篮子序列和用户属性序列的长度对于不同用户变化时，最大序列长度被设置为T，获得最新的T个时间步的信息。如果序列长度大于T，则该序列被截断为最新的T个时间步信息。如果序列长度短于T，则可以对空位置应用零填充操作。代替将零填充入序列的开始直到序列长度为T，输入编码器231将零填充入错过的时间步。例如，对于来自月份{第一，第二，第三}和{第一，第三，第五}的两个序列，最大序列长度是5。开始时的填充将忽略时移信息。相反，对于第一序列，将零填充入序列的末尾(代表第四和第五个月)，并且对于第二序列，在第三和第五个月(代表第二和第四个月)之前填充零。通过该填充操作，模型可以识别这两个序列之间的差异。在填充后，

以及

相应地表示篮子项目、分类属性和数值属性的序列。

尽管与没有填充的方法相比，填充技术可以产生更长的序列作为输入数据。但是实际上，每个时间步(篮子)的持续时间取决于应用。例如，当训练数据包含约4个月的数据时，每天处理一篮子用于有效训练。每小时或每分钟作为一篮子的训练只能为每个篮子产生稀疏的信息。

在一个实施方案中，输入编码器231通过将位置嵌入

添加至输入序列中来利用输入203和204的顺序信息，其中p_t是时间t处的D维位置嵌入向量213。另外，为时间级注意模块232a-b添加月索引嵌入

发现季节性模式，其中m_t是时间t处的D维月索引嵌入向量211。位置嵌入和月嵌入之间的区别在于月索引可以在序列的每12个时间步上重复。因此，位置代码和月代码嵌入与潜在表示213

如下串接：

其中篮子序列的表示形成为

然后将篮子序列L^V的编码表示214从输入编码器231a发送到时间级注意模块232a。

类似地，在输入编码器231b处，将位置索引嵌入222和月份索引嵌入222添加至

和

的潜在表示223，从而分别获得L_Fcat和L_Fnum的编码表示224。然后，将动态属性序列204的编码表示224从输入编码器231b发送到时间级注意模块232b。

时间级注意模块232a-b分别应用于编码篮子序列和用户属性序列，捕获用户的顺序交易模式和隐式动态嗜好。时间级注意模块232a-b可以接收输入序列L^V、L^Fcat和L^Fnum的密集张量表示。将张量表示整形为2D矩阵，其中

以及

而不是每次取篮子中所有项目表示和所有属性值的加权和。

时间级注意模块232a-b可以各自包括多个多头自注意模块(MHSAB)，其被应用于2D矩阵L^V、L^Fcat和L^Fnum以分别捕获时间级顺序模式。例如，图3提供了示出根据本文所描述实施方案的MHSAB的示例操作的简化框图。具体地，注意块可被描述为将(查询)304和一组(键)-(值)对306和308映射到输出315。在MHSA块中，查询304、键306和值308是相同的，并且被投射到具有不同学习投射矩阵的多个子空间中。这里，查询304、键306和值308首先从L⁽⁰⁾的输入302投射(令L⁽⁰⁾＝L，来自输入编码器231的任何张量表示)。然后将投射查询304和投射键306相乘以得到表示310，然后将其应用于投射值308以获得自注意输出315。

图4提供了示出根据本文所描述实施方案的MHSAB 400的示例架构的简化框图。MHASB 400包括MHSA 316(其操作与图3中的图300类似)、归一化层331、两层前馈神经网络(FFNN)332和另一归一化层333。MHSA 316将输入302接收到多个并行自注意(SA)块320a-h中，并且来自每个SA块的输出被串接以形成输出318：

M⁽¹⁾＝MHSA(L⁽⁰⁾,h)＝[head₁,head₂,...,head_h]W_concate,

其中SA是自注意映射，h是子空间的数目，

和

是学习参数(C＝|F_cat+2|D)，并且C'＝hC。

在一个实施方案中，由于序列是按时间顺序的，所以当进行t+1时间步的预测时，模型可以仅考虑多达t个时间步的信息。为了避免注意模块窥视未来的步骤信息，当j>i时，可以将因果掩码添加至MHSA块以禁止查询_i和键_j之间的所有链接。

在一个实施方案中，为了增强自注意块的表示学习的性能，可以向MHSA输出318应用剩余连接、释放(dropout)、层归一化和具有ReLU激活功能的两层完全连接的层。

M⁽¹⁾＝LayerNorm(Dropout(M⁽¹⁾)+L⁽⁰⁾)，

L⁽¹⁾＝ReLU((M⁽¹⁾W₁+b₁)W₂+b₂)，

L⁽¹⁾＝LayerNorm(Dropout(L⁽¹⁾)+M⁽¹⁾)。

因此，来自整个MHSAB的输出325可以如下获得：

L⁽¹⁾＝MHSAB(L⁽⁰⁾,h)。

图4所示的多个(k>1)MHSAB可以堆叠以捕获更复杂的特征相互作用：

L^(k)＝MHSAB(L^(k-1),h^k)，k>0

其中L⁽⁰⁾＝L并且h^k是第k个注意块处的头部的数量。

参考图2，篮子内模块233和属性内注意模块234用于相应地提取项目交互信息和特征交互信息。篮子内模块233和属性内注意模块234中的每一个可以包括MHSAB的一个或多个堆叠，并且MHSAB的每个堆叠包括一个或多个顺序连接的MHSAB。MHSAB可以类似于图4所示的框400。

特别地，已经证明一篮子项目之间的交互信息对于改善下一个篮子推荐结果是有用的。此外，高阶特征交互还显示出改善了预测结果。因此，MHSAB在每个时间步t被应用到篮子和动态属性上。这允许模型挖掘篮子项目之间的交互并生成高阶特征交互，这可以帮助模型做出更好的推荐。

例如，对于分类属性序列、篮子内模块233或属性内模块234接收来自时间级注意模块232b的输出表示矩阵

(L^(k)Fcat的简称)。将输出表示整形为3D张量

然后在分类用户属性表示L^(k)的每个时间步将MHSAB应用于3D张量L^(k)。因此，MHSAB的堆叠将用户属性表示更新为：

其中

是时间级注意模块在时间t的输出，并且h^k+1是第k+1个注意块。

因此，在时间t，可如上所述获得分类属性

之间的交互。MHSAB可以被堆叠多次以捕获更高级别的分类属***互，例如

m>1。类似地，可以在每个时间步t类似地获得篮子项目

之间的交互和数字属性

之间的交互。

预测模块235接收并耦合来自篮子内和属性内注意模块233和234的输出

以生成最终预测250。具体地，为了捕获篮子项目和动态属性的模式，并且为了在时间t同时合并项目和属***互信息，预测模块235包括前馈神经网络236的完全连接的层，其应用于串接的输入：

其中

是包含过去t时间内篮子项目和动态属性的时间模式信息以及项目和属***互信息的高级特征。

预测模块235还从提供候选项目列表的输入编码器231a接收共享嵌入表230，例如项目嵌入矩阵Q。然后将其用于预测t+1时间步篮子项目。具体地，项目i的关联性预测如下：

其中r_i,t是待推荐的项目i的推荐分数，接下来给予第一t篮子项目和动态用户属性。Q是项目嵌入矩阵，其被共享用于在输入编码器中编码篮子项目。然后可以使用所有i的推荐分数r_i,t来生成用于下一个时间步t+1的下一推荐项目250

例如使用softmax操作。2

参考图2A，在训练阶段期间，来自预测模块235的输出r_i,t然后被发送到损失模块260以计算二进制交叉熵损失：

其中σ是S型函数

在每个序列中的每个时间步t，V中每个项目i的相关分数r_i,t。用户u的目标篮子项目是B^u的变换版本，由

表示。损失L然后可用于例如通过反向传播路径266(以虚线示出)更新模块235、234、233、232a-b和231a-b。

图5是根据一些实施方案的用于实现推荐***的计算设备500的简化图，该推荐***对具有贯穿公开文本描述的项目和特征交互的动态属性建模。如图5所示，计算设备500包括耦合到存储器520的处理器510。计算设备500的操作由处理器510控制。并且，尽管计算设备500被示为仅具有一个处理器510，但是应当理解，处理器510可以代表计算设备500中的一个或多个中央处理单元、多核处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)等。计算设备500可以实现为独立子***，作为添加至计算设备的板和/或作为虚拟机。

存储器520可用于存储由计算设备500执行的软件和/或在计算设备500的操作期间使用的一个或多个数据结构。存储器S20可以包括一种或多种类型的机器可读介质。一些常见形式的机器可读介质可以包括软盘，柔性盘，硬盘，磁带，任何其它磁性介质，CD-ROM，任何其它光学介质，穿孔卡，纸带，具有孔图案的任何其它物理介质，RAM，PROM，EPROM，FLASH-EPROM，任何其它存储器片或盒，和/或处理器或计算机适于从中读取的任何其它介质。

处理器510和/或存储器520可以被安排在任何适当的物理装置中。在一些实施方案中，处理器510和/或存储器520可以实现在相同的板上，在相同的封装(例如，***级封装)中，在相同的芯片(例如，***级芯片)上，和/或类似物上实现。在一些实施方案中，处理器510和/或存储器520可以包括分布式、虚拟化和/或容器化的计算资源。根据这些实施方案，处理器510和/或存储器510可以位于一个或多个数据中心和/或云计算设施中。

在一些示例中，存储器520可以包括非暂时性的、有形的、机器可读介质，该介质包括可执行代码，该可执行代码在由一个或多个处理器(例如，处理器510)运行时可以使上述一个或多个处理器执行进一步详细描述的方法。例如，如图所示，存储器520包括用于推荐模块130的指令，该推荐模块130可用于实现和/或仿真***和模型，和/或实现本文进一步描述的任何方法。在一些示例中，推荐模块130可以接收输入540，例如表示按时间排序的用户的项目交互记录的篮子序列。数据接口515可以是接收用户执行的输入的任何用户接口，或者是可以从数据库接收或检索数据序列的通信接口。推荐模块130可以生成输出550，例如，给定篮子项目的第一序列和动态用户属性的下一推荐项目。

在一些实施方案中，推荐模块130包括编码器231、时间级注意模块232、一个或多个篮子内和属性内自注意模块233和预测模块234。模块231-234在图2A-2B中进一步示出。

用于实现子模块231-234的推荐模块130的架构可以类似于图2A-2B中的图200a-b。在一些示例中，推荐模块130和子模块231-234可以使用硬件、软件和/或硬件和软件的组合来实现。

图6是示出根据在此描述的一些实施方案的使用动态项目属性进行下一个篮子推荐的方法的简化逻辑流程图。方法600的进程610-650中的一个或多个可以至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实现，当由一个或多个处理器运行时，可执行代码可使一个或多个处理器执行进程610-650中的一个或多个。在一些实施方案中，方法600可以对应于推荐模块130所使用的方法。

在进程610，接收过去篮子的输入序列(例如，图2A-2B中的203)和动态用户属性的序列(例如，图2A-2B中的204)。例如，过去篮子的输入序列表示按时间排序的用户的项目交互记录。

在进程620，将过去篮子的输入序列和动态属性的输入序列编码为密集表示，例如L^v、L^Fcat、L^Fnum。例如，可以通过嵌入查找和时间感知填充操作，以及位置或月索引嵌入来执行编码，如关于图2B中的输入编码器231a-b所描述的。

在进程630，将时间级注意应用于密集表示以捕获用户的顺序交易模式和隐式动态嗜好，例如，从而生成时间级注意矩阵L^(k)V，L^(k)Fcat，L^(k)Fnum，k>0。关于图2A-2B中的时间级注意模块232a-b可以找到时间级注意的更多细节。

在进程640，从所关注的密集表示中提取项目交互信息和特征交互信息。例如，可以并行地在每个时间步将MHSAB的堆叠分别应用于对应于篮子和动态属性的时间级注意矩阵，使得篮子项目之间的相关性和生成高阶特征交叉被提取以产生更好的推荐。得到的篮子式注意矩阵和属性注意矩阵是L^(k+m)V，L^(k+m)Fcat，L^(k+m)Fnum。关于图2A-2B中的篮子内和属性内自注意模块233和234提供了关于自注意的进一步细节。

在进程650，基于篮子项目注意矩阵和属性注意矩阵生成下一推荐预测，指示所提取的项目交互信息和特征交互信息。关于图2A-2B中的预测模块235描述了关于生成下一个推荐预测的进一步细节。

示例性能

图7提供了根据在此描述的一个实施方案的推荐模块130的示例训练数据集的表汇总统计。图7所示的数据集表示具有不同数量的用户、项目和属性的不同域集合。企业产品推荐(EPR)数据集是从龙头企业云平台采集的私有数据集。任务是向企业推荐产品。它包含24个月(从2017年1月到2018年12月)的企业客户产品购买记录以及161个动态用户属性。动态属性的示例是企业的产品使用度量、网站上的行为度量、销售信息和企业的营销活动。

桑坦德产品推荐(SPR)1数据集是关于桑坦德银行产品推荐的公共数据集。它包含18个月的用户购买信息以及用户属性。还包括动态属性。例如，“indrel_lmes”表示诸如主要客户、潜在客户等的客户类型。每月它可以从一种类型改变为另一种类型。“antiguedad”为几个月来的客户资历。

Ta-Feng数据集是包含从2000年11月到2001年2月的交易的杂货购物数据集。每个交易是一篮子购买的项目。此外，还提供了5个属性(AGE_GROUP等)。虽然它不包含动态属性，但是本文描述的推荐方法仍然是有效的，因为对用户交互篮子项目序列、高阶项目交互和高阶属***互的时间模式进行建模。

具体地，对于每个用户u，选择下一个篮子推荐的所有项目的排名列表中的前K个项目。当对时间步t+1进行预测时，使用多达时间步t的时间步。对于EPR数据集，前20个月的数据用作训练集，第21个月的数据用作调整模型的验证数据。对于测试，最好的参数用于训练前21个月的数据。连续三个月的数据(第22-24个月)作为测试集处理。对于SPR数据集，根据缺失值的属性，填写最频繁的分类属性以及数值属性的平均值。前17个月的数据用作训练数据。首先将数据分成训练和验证，80％和20％用于模型调整，然后对所有训练数据进行训练。对第18个月的数据进行评价。对于Ta-Feng数据集，删除购买少于10次的用户和购买少于10次的项目。前3个月数据用作训练集，后0.5个月数据用作调整模型的验证集。在前3.5个月数据上训练模型。注意，尽管Ta-Feng数据集包含四个月的数据，但是时间模式可以包括工作日/周末模式而不是季节性模式。

对于EPR和Ta-Feng数据集，使用诸如命中率(HR@K)，归一化折扣累积增益(NDCG@K)和中值平均精度(MAP@K)之类的评估度量。相应地，根据MAP选择K为EPR和Ta-Feng中的23和7691(所有项目)。此外，F1@5和F1@10被用作Ta-Feng数据集上的评估度量。对于SPR数据集，Kaggle挑战和MAP@7用于评价。由于Kaggle提交仅在测试集上提供MAP@7，因此这是该数据集报告的唯一度量。

采用以下基线方法进行比较：在因式分解项转移矩阵上应用马尔可夫链的FMC；FPMC将矩阵因式分解和因式分解的一阶马尔可夫链结合起来，从而可以捕获用户的长期偏好和逐项交互；SASRec是用于顺序推荐的基于自我注意的模型。此模型采用用户动作序列作为输入，并在时域上应用自注意来捕获用户动作模式以预测下一项目。为了公平比较，使用多头来增强性能。附加基线模型包括BERT4Rec，其使用双向自我注意来建模用户动作序列，采用Cloze目标来进行顺序推荐；DREAM是一种基于RNN的模型，其中通过合并操作经由项目的嵌入聚集篮子表示——它使用最新的篮子表示生成下一篮子项目；信标是基于RNN的模型，其在考虑篮子内(篮子中的项目)交互的同时对篮子序列进行编码；FDSA+是FDSA方法的扩展，其中在每个时间步将简朴注意用于篮子项目，并且以与损失模块260类似的方式来更新损失函数。

对于所有的基线方法，如果正面临冷启动问题(例如，用户不具有任何交互历史)，则基于数据集中的流行度项目向这些用户提供推荐列表。由于原始SASRec和BERT4Rec无法通过设计处理篮子项目序列，因此可对这些型号进行额外的数据准备。除最后一篮子外，每个篮子项目序列被展平，然后最后一篮子项目被用作标签来为每个用户生成训练样本。

AdamOptimizer用于更新具有力矩估计值β1＝0.9和/β2＝0.999的网络。自注意层根据{1，2，4}调谐，并且每个注意块上的头部数目根据{1，2，4，6}调谐。最大序列长度在EPR、SPR和Ta-Feng数据集中相应地设置为12、16和30。在所有批号为256的单个NVIDIATesla K80上从零开始训练所有模型。

图8提供了示出根据在此描述的一个实施方案的与七个基线方法相比较的总体结果的表格。本文描述的推荐模块130在所有度量上显著胜过所有基线。相对百分比改进范围为3.92％至29.63％。这证明了推荐模块130的有效性。在基线方法中，为下一个篮子推荐(DREAM，Beacon)开发的方法优于为一般顺序推荐(FMC，FPMC，SASRec，Bert4Rec)开发的方法。FDSA+对EPR和SPR数据集的基线表现最好，而Beacon对Ta-Feng数据集表现最好。主要原因是FDSA+利用属性信息，其中与Ta-Feng相比，EPR和SPR具有更多的属性。对于SPR数据集，Kaggle挑战中的顶级模型在MAP@7中达到0.0314。然而，它应用了繁重的手工特征工程来产生超过100个特征(根据Kaggle论坛)，这些特征是耗时的并且对于数据集是过于特定的。它还集成了多个分类器以提高性能。可以在推荐模块130上应用所有这些方法。

为了理解推荐模块130中的不同231a-b、232a-b、233、234和235的影响，使用EPR数据集进行详细的消融研究。为了理解不同组件的影响，使用图9中的EPR数据集进行详细的消融研究。

图10提供SPR数据集上的平均时间级和属性内注意权重的可视化视图。为了了解注意如何捕获有意义的模式，在图10中对来自SPR数据集的采样序列的时间级注意权重和属性内注意权重进行了解。示出了具有给定输入序列的不同层和头部的四个代表性热图，其中(a)和(b)是来自时间级篮子关注力的两个不同层(层1和4)的关注力权重，并且(c)和(d)来自第一属性内层的两个不同头部。在(a)和(b)中，x轴是篮子序列的位置索引，y轴是时间步。例如，在第16行中，时间级注意模块考虑具有多达第16个月的位置索引的篮子。从(a)和(b)，显示注意在不同的层上变化。虽然层4中的权重更多地集中在最近的项目上，但是层1中的权重更均匀地关注所有先前的历史。这显示了堆叠更多层以捕获不同时间模式的益处。在(c)和(d)中，图中的每个网格表示两个输入特征之间的交互。从(c)和(d)可以观察到，注意权重在不同头部上变化，并且模块捕获有意义的特征交互。例如在(c)中，位置(11，1)(由红色方块标记)对应于交互特征值<“外国人索引”：否，“客户国家住所”：ES>，这是有意义的，因为银行位于西班牙，生活在西班牙的客户实际上不是外国人。在(d)中，位置(9，5)对应于交互的特征值<“客户关系类型”：活跃，“新客户索引”：1>。这也是有意义的，因为新客户和活跃客户通常是高度相关的。这些观察说明了多头注意的有用性。

诸如计算设备200之类计算设备的一些示例可包括非暂时性、有形、机器可读介质，该介质包括可执行代码，该可执行代码在由一个或多个处理器(例如，处理器210)运行时可以使上述一个或多个处理器执行方法400的进程。可以包括方法400的进程的机器可读介质的一些常见形式例如是软盘，柔性盘，硬盘，磁带，任何其它磁性介质，CD-ROM，任何其它光学介质，穿孔卡，纸带，具有孔图案的任何其它物理介质，RAM，PROM，EPROM，FLASH-EPROM，任何其它存储器片或盒，和/或处理器或计算机适于从中读取的任何其它介质。

说明发明性方面，实施方案、实现方式或应用的本说明书和附图不应被视为限制。在不脱离本说明书和权利要求书的精神和范围的情况下，可以进行各种机械、组成、结构、电气和操作上的改变。在一些情况下，为了不模糊公开文本的实施方案，没有详细示出或描述公知的电路、结构或技术。在两个或更多附图中相同的标号表示相同或相似的元件。

在本说明书中，阐述了描述与公开文本一致的一些实施方案的具体细节。为了提供对实施方案的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员容易理解的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施方案。本文公开的具体实施方案是说明性的而非限制性的。本领域技术人员可以认识到，虽然本文没有具体描述，但是一些其它元件仍在公开文本的范围和精神内。此外，为了避免不必要的重复，与一个实施方案相关联示出和描述的一个或多个特征可以结合到其他实施方案中，除非另外具体描述，或者如果一个或多个特征使实施方案不起作用。

虽然已经示出和描述了示例性实施方案，但是在前述公开内容中设想了宽范围的修改、改变和替换，并且在一些情况下，可以采用实施方案的一些特征而不相应地使用其他特征。本领域普通技术人员将认识到许多变化、替换和修改。因此，本发明的范围应仅由所附权利要求书限制，并且权利要求书应以与本文所揭示的实施方案的范围一致的方式广泛地解释。

Claims

1.一种使用动态项目属性进行下一个篮子推荐的***，所述***包括：

输入编码器，其配置为将指示一篮子项目的篮子项目序列和指示与用户相关联的动态属性的动态属性序列编码为密集表示向量；

时间级注意模块，其配置为基于所述密集表示向量生成时间级注意矩阵，所述时间级注意矩阵指示所述用户的所述动态属性和所述一篮子项目的时间级顺序模式；

篮子内注意模块，其配置为基于所述时间级注意矩阵生成指示所述一篮子项目之间的特征交互的篮子项目注意矩阵；

属性内注意模块，其配置为基于所述时间级注意矩阵生成指示所述动态属性之间的交互的属性注意矩阵；和

预测模块，其配置为基于所述篮子项目注意矩阵和所述属性注意矩阵针对下一个时间步生成篮子项目的预测集。

2.根据权利要求1所述的***，其中所述输入编码器被配置为将对应于所述篮子项目序列中的每个篮子项目或所述动态属性序列中的每个属性的每个多热表示向量分别编码为篮子项目潜在表示或属性潜在表示，并且

其中所述属性潜在表示对应于分类属性或数值属性。

3.根据权利要求2所述的***，其中所述输入编码器还被配置为：

生成位置嵌入向量和月嵌入向量；和

通过将所述位置嵌入向量和所述月嵌入向量添加至所述篮子项目潜在表示或所述属性潜在表示，生成篮子表示或类别属性表示和数值属性表示。

4.根据权利要求1所述的***，其中所述输入编码器被配置为通过以下对所述篮子项目序列或所述动态属性序列执行时间感知填充操作：

当相应的序列长度小于预设的最大序列长度时，将零填充入所述篮子项目序列或所述动态属性序列中的空位置。

5.根据权利要求1所述的***，其中所述时间级注意模块包括一个或多个堆叠的多头自注意块(MHSAB)。

6.根据权利要求1所述的***，其中来自所述时间级注意模块的第一MHSAB被配置为：

将来自所述输入编码器的篮子表示、分类属性表示或数值属性表示投射入查询、键和值；和

串接来自所述投射的多个头部。

7.根据权利要求6所述的***，其中所述第一MHSAB还将所述串接的多个头部馈送至层归一化和具有ReLu激活的两层完全连接的层。

8.根据权利要求1所述的***，其中所述篮子内自注意模块或所述篮子内自注意模块包括多个MHSAB的堆叠。

9.根据权利要求1所述的***，其中所述预测模块包括前馈神经网络，被进一步配置为：

串接来自所述篮子内注意模块的篮子项目注意矩阵和来自所述属性内注意模块的属性注意矩阵；和

通过所述前馈神经网络，基于所述串接矩阵，针对每个项目生成推荐得分。

10.根据权利要求9所述的***，还包括：

损失计算模块，其配置为基于所述推荐得分的S型函数而计算二进制交叉熵损失。

11.一种使用动态项目属性进行下一个篮子推荐的***，所述***包括：

输入编码器，其配置为将指示与用户相关联的动态属性的动态属性序列编码为密集表示向量；

多头自注意块(MHSAB)的一个或多个堆叠，MHSAB的每个堆叠配置为将自注意应用于所述密集表示向量的至少一部分，并且生成指示所述动态属性之间的交互的相应注意矩阵；和

快进神经网络，其配置为串接来自所述MHSAB的一个或多个堆叠的相应注意矩阵，并且基于所述串接的相应注意矩阵输出预测。

12.根据权利要求11所述的***，其中来自所述MHSAB的一个或多个堆叠的第一MHSAB被配置为：

串接来自所述投射的多个头部。

13.根据权利要求12所述的***，其中所述第一MHSAB还将所述串接的多个头部馈送至层归一化和具有ReLu激活的两层完全连接的层。

14.一种使用动态项目属性进行下一个篮子推荐的方法，所述方法包括：

由输入编码器将指示一篮子项目的篮子项目序列和指示与用户相关联的动态属性的动态属性序列编码为密集表示向量；

由时间级注意模块基于所述密集表示向量生成时间级注意矩阵，所述时间级注意矩阵指示所述用户的所述动态属性和所述一篮子项目的时间级顺序模式；

基于所述时间级注意矩阵，生成指示所述一篮子项目之间的特征交互的篮子项目注意矩阵；

基于所述时间级注意矩阵，生成指示所述动态属性之间的交互的属性注意矩阵；和

基于所述篮子项目注意矩阵和所述属性注意矩阵，针对下一个时间步生成篮子项目的预测集。

15.根据权利要求14所述的方法，其中编码所述篮子项目序列或所述动态属性序列还包括：

将对应于所述篮子项目序列中的每个篮子项目或所述动态属性序列中的每个属性的每个多热表示向量分别编码为篮子项目潜在表示或属性潜在表示，并且

其中所述属性潜在表示对应于分类属性或数值属性。

16.根据权利要求15所述的方法，还包括：

生成位置嵌入向量和月嵌入向量；HE

17.根据权利要求15所述的方法，其中还包括通过以下对所述篮子项目序列或所述动态属性序列执行时间感知填充操作：

18.根据权利要求14所述的方法，其中生成所述篮子项目注意矩阵或所述属性注意矩阵包括：

串接来自所述投射的多个头部；和

将所述串接的多个头部馈送至层归一化和具有ReLu激活的两层完全连接的层。

19.根据权利要求14所述的方法，其中生成篮子项目的预测集包括：

20.根据权利要求19所述的方法，还包括：

基于所述推荐得分的S型函数，计算二进制交叉熵损失。