CN111932336A - 一种基于长短期兴趣偏好的商品列表推荐方法 - Google Patents
一种基于长短期兴趣偏好的商品列表推荐方法 Download PDFInfo
- Publication number
- CN111932336A CN111932336A CN202010693227.4A CN202010693227A CN111932336A CN 111932336 A CN111932336 A CN 111932336A CN 202010693227 A CN202010693227 A CN 202010693227A CN 111932336 A CN111932336 A CN 111932336A
- Authority
- CN
- China
- Prior art keywords
- term
- user
- interest
- vector
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007774 longterm Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 125
- 230000003993 interaction Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000000126 substance Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000005648 plant growth regulator Substances 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 34
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 235000020095 red wine Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 235000014101 wine Nutrition 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于个性化推荐***领域，特别涉及一种基于长短期兴趣偏好的商品列表推荐方法，包括用户点击商品的数据集，将该数据集输入到嵌入层，嵌入层将所有输入要素嵌入到固定大小的低维向量中；兴趣提取层通过捕获用户短期兴趣的低维向量中与待选择商品的关系，输出为用户短期兴趣偏好；将用户长期兴趣的低维向量输入交互层，在交互层中使用多头注意力机制寻找高阶特征，输出用户长期行为偏好；将兴趣提取层和交互层分别提取到长期和短期的特征输入融合层进行融合，并将融合结果作为推荐的商品列表；本发明能够基于电商用户行为信息获得用户的长短期偏好，以此给用户推荐合适的商品列表。
Description
技术领域
本发明属于个性化推荐***领域，特别涉及一种基于长短期兴趣偏好的商品列表推荐方法。
背景技术
行业中的大型推荐***需要准确预测用户的偏好并快速响应其当前需求。大型的电子商务网站，拥有数十亿项商品和用户，它首先为用户检索候选商品集，然后应用排名模块生成最终推荐。目前，大部分电商网站部署的匹配模型主要基于基于项目的协作过滤(CF)方法。但是，它们为静态用户项交互建模，并且不能很好地捕获用户整个行为序列中的动态转换。这种方法通常会导致同类推荐。为了准确地了解用户的兴趣和偏好，应将短期会话信息纳入匹配模块。
通过引入深度顺序推荐模型而不是匹配阶段的基于项目的CF，来考虑用户兴趣的动态演变。当人们开始在电商网站上使用在线购物服务时，他们的行为会累积到相对较长的时间。序列由会话组成。会话是在给定时间范围内发生的用户行为的列表。用户通常在一个会话中具有明确的独特购物需求，而当他/她开始一个新会话时，他/她的兴趣可能会急剧变化。在忽略此类内在结构的同时直接对序列建模会损害性能。因此，我们将用户的最新交互会话称为短期行为，将之前的其他行为称为长期行为。这两部分分别进行建模，以编码其固有信息，这些信息可用于表示用户的不同兴趣水平。我们的目标是在用户序列匹配的候选对象之后重新调用前N个商品。
对于短期会话建模，基于递归神经网络(RNN)的方法已在基于会话的推荐中显示出有效的性能。最重要的是，Li和Liu等人。进一步提出了注意力模型，以分别强调短期会话中最终点击的主要目的和效果，从而避免用户的随机动作引起的兴趣转移。但是，他们忽略了用户的兴趣点在一个会话中有多个。我们观察到，客户关心商品的多个方面，例如类别，品牌，颜色，样式和商店声誉等。在对最喜欢的商品做出最终决定之前，用户要反复比较许多商品。因此，使用单头产品注意力表示不能反映在不同购买时间发生的多种兴趣。取而代之的是，首先针对机器翻译任务而提出的多头注意力使模型可以共同关注不同位置的多个不同信息。多头结构可以通过代表不同观点的偏好来自然解决多重利益问题。因此，我们提出了多兴趣模块，以利用多头注意力来增强基于RNN的顺序推荐器。同时，由于具备这种自我关注功能，我们的模块可以通过过滤出因果点击来代表准确的用户偏好。
用户长期以来的普遍偏好始终会影响目前的决策。直观地，如果用户是足球迷，则他可以查看/单击与足球球星相关的商品。当他现在选择购买鞋子时，著名球星的运动鞋将比普通鞋更吸引他。因此，考虑长期偏好和短期行为至关重要。Ying和Li等人。都通过与当前会话的简单组合考虑了客户的长期偏好。但是，在实际应用中，客户有各种各样的购物需求，他们的长期行为也很复杂和多样。与球星有关的东西只占很少一部分的长期行为。与当前短期会话相关的长期用户偏好无法在总体长期行为显著表示出来。如果我们简单地将长期和短期表示形式连接起来，或者将它们汇总成加权注意力，则这不是融合的有效方法。应保留长期向量中与当前短期会话有关的信息。
发明内容
针对现有推荐算法在用户长期兴趣偏好和短期兴趣偏好难以平衡的问题，本发明提出一种基于长短期兴趣偏好的商品列表推荐方法，将待推荐的商品输入到包括了嵌入层、兴趣提取层、交互层、以及兴趣融合层的网络之中，通过以下步骤选择推荐给用户的商品列表，包括：
S1、将短期会话中用户点击的商品列表信息作为数据集，将该数据集输入到嵌入层，嵌入层将所有输入要素嵌入到固定大小的低维向量中；
S2、兴趣提取层通过捕获用户短期兴趣的低维向量中与待选择商品的关系，输出为用户的短期兴趣偏好向量；
S3、将长期历史数据作为数据集，并输入嵌入层获得长期历史数据固定大小的低维向量；
S4、将用户长期兴趣的低维向量输入交互层，在交互层中使用多头注意力机制寻找高阶特征，输出用户长期行为偏好；
S5、将兴趣提取层和交互层分别提取到长期和短期的特征输入融合层进行融合，并将融合结果作为推荐的商品列表。
进一步的，兴趣提取层提取用户短期兴趣特征的过程包括：
对用户点击商品序列进行一个顺序的编码，该操作记为位置编码，并在位置编码的基础上进行偏差编码；
添加偏差编码之后更新用户的行为会话；
构建基于多头注意力机制的前馈网络并计算用户第k次会话兴趣，该第k次会话兴趣即为用户的特征。
进一步的，用户第k次会话兴趣表示为：
其中，Ik表示用户第k次会话兴趣；Avg为平均合并运算；
表示特征Q的用户第k个会话中的兴趣向量；Concat表示向量之间的连接；head H表示transformer里面的第H个头向量；WO表示特征O的一个线性变换矩阵。
进一步的，transformer模型里面的第H个头向量head H表示为：
其中，Qkh为Qk的第h个头向量；Qk为在第k次会话下的Query向量；WQ为Query向量的线性变换输出矩阵；WK为Key向量的线性变换输出矩阵；WV为Value向量的线性变换输出矩阵；dmodel为模型输入矩阵。
进一步的，交互层提取用户长期兴趣特征过程包括：
获取在特定注意力头h下定义特征m和特征k之间的相关性；
通过组合由系数h、k引导的所有相关特征来更新子空间h中的特征m；
在网络中添加标准残差连接，获得最终的长期兴趣特征。
进一步的，在特定注意力头h下定义特征m和特征k之间的相关性表示为：
其中，
表示特征m,k在h头下的注意力向量输出；ψ(h)(em，ek)表示特征m和特征k之间的embedding向量的聚合输出；
表示Query向量h头下的线性变换矩阵；
表示Key向量h头下的线性变换矩阵；em表示特征m的embedding向量输出。
进一步的，通过组合由系数h、k引导的所有相关特征来更新子空间h中的特征m包括：
其中，
表示特征m在h头下的embedding向量；
表示Value向量在h头下的线性变换矩阵；
表示特征m的embedding向量；
是连接运算符，H是总头数。
进一步的，融合层融合长期用户兴趣特征和短期用户兴趣特征的过程表示为：从不同特征尺度对用户的长期兴趣偏好
进行编码，用户长期兴趣偏好
至少包括商品ID
叶类
第一类
商店
以及品牌
将对于不同的特征集合，都经过一个attention层进行建模，如用户可能对不同的店铺偏好程度不同，对不同的品类偏好程度不同作为查询向量来计算用户不同特征集合下的注意力得分；
构建门控神经网络，该网络以长期会话兴趣偏好向量和短期会话兴趣偏好向量作为输入，并在门控制神经网络中进行一个加权最终输出推荐列表。
进一步的，通过注意力得分，作为长期兴趣偏好和短期兴趣偏好对输入到门控神经网络中的贡献度，其中贡献度计算公式如下：
pu＝tanh(Wpzu+b)
其中，αk表示特征k的attention向量；
表示在特征T下用户融合兴趣向量；eu表示用户的embedding向量；
表示全连接神经网络；
表示用户融合兴趣向量；zk表示全连接神经网络；pu表示用户的长期行为向量；Wp表示zu向量的线性变换矩阵；b表示常数矩阵；
表示特征f下的长期会话兴趣向量；
表示特征j下的长期会话兴趣向量；f表示特征f。
进一步的，门控神经网络包括：
其中，
表示门向量用来控制长期和短期兴趣对整个商品推荐的贡献度；W1表示eu向量的线性变换矩阵；eu表示用户embedding向量；W2表示
向量的线性变换矩阵；
表示用户的短期行为向量；W3表示pu向量的线性变换矩阵；b表示常数矩阵；
表示用户行为向量；⊙表示元素对位相乘；pu表示用户的长期行为向量。
本发明的有益技术效果如下：
(1)本发明属于个性化推荐***范畴，具有低参数量、高精度的效果；能够对电商平台中的用户进行动态商品个性化推荐。
(2)提出了一种新颖的短期用户兴趣偏好提取网络结构，使用该网络架构可以更加精准的动态捕获基于会话用户兴趣偏好。
(3)提出了一种长期兴趣偏好的高阶特征自动提取网络架构,解决了原本只能有依靠专家领域知识进行有实际意义的特征组合提取，也解决了传统的低阶特征组合算法只能学习到隐式特征组合缺乏的可解释性问题。
(4)提出了一种门控制网络，融合了长短兴趣偏好对用户的动态兴趣可以进行更加精准的推荐。
附图说明
图1为本发明一种基于长短兴趣偏好网络的结构示意图；
图2为本发明的应用效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于长短期兴趣偏好的商品列表推荐方法，将待推荐的商品输入到包括了嵌入层、兴趣提取层、交互层、以及兴趣融合层的网络之中，通过以下步骤选择推荐给用户的商品列表，包括：
S1、将短期会话中用户点击的商品列表信息作为数据集，将该数据集输入到嵌入层，嵌入层将所有输入要素嵌入到固定大小的低维向量中；
S2、兴趣提取层通过捕获用户短期兴趣的低维向量中与待选择商品的关系，输出为用户的短期兴趣偏好向量；
S3、将长期历史数据作为数据集，并输入嵌入层获得长期历史数据固定大小的低维向量；
S4、将用户长期兴趣的低维向量输入交互层，在交互层中使用多头注意力机制寻找高阶特征，输出用户长期行为偏好；
S5、将兴趣提取层和交互层分别提取到长期和短期的特征输入融合层进行融合，并将融合结果作为推荐的商品列表。
特别地，短期会话是指用户短时间内的会话，长期会话则是相对较长时间内的会话；优选的，本发明实施例中若没有特别说明，短期会话一般指的是用户在一个会话中15分钟内的商品点击序列，而长期会话一般指的是用户在一周内或更长时间内的用户商品点击序列
实施例1
本实施例给出一种具体获取数据集以及对数据集的处理实施方式。
如图1，用户点击商品的数据集分别为长期会话数据和短期会话数据，分别输入到嵌入层，嵌入层将所有输入要素嵌入到固定大小的低维向量中；兴趣提取层通过捕获用户短期兴趣的低维向量中与待选择商品的关系，输出为用户短期兴趣偏好；将用户长期兴趣的低维向量输入交互层，在交互层中使用多头注意力机制寻找高阶特征，输出用户长期行为偏好；将兴趣提取层和交互层分别提取到长期和短期的特征输入融合层进行融合，并将融合结果作为推荐的商品列表。
在本实施例中，获得的数据集为在淘宝上采样的数据集，该数据集包括随机选择了2018年12月连续8天内与40个商品进行交互的活跃用户。此外，在本实施例中会过滤互动次数超过1000项的用户，本实施例认为这些用户是虚假用户。
在本实施例收集的历史交互数据中，其中前7天用于训练，而第8天用于测试，本实施例过滤掉在数据集中交互出现少于5次的商品。
本实施例制定了会话生成规则：
具有相同会话ID的交互属于同一会话；
把会话时间少于10分钟的相邻交互合并为一个会话；
会话的最大长度设置为50，这意味着当会话长度超过50时将开始新的会话；
用户u的每个最新会话都被视为短期行为，其中m是序列的长度；
用户u一周之前会话中发生的行为视为长期行为；
考虑到用户u的短期行为和长期行为，本实施例对用户u推荐项目；
将每个的最大限制为20在训练过程中，且将删除长度小于2的会话。
在测试阶段，本实施例会在第8天选择大约1万活跃用户进行快速评估，这些被选中的用户在第8天的前25％短期会议被纳入模型，其余的交互作用是基础事实；除此之外，客户一天可能浏览多次某些项目，因此不鼓励重复推荐，因此我们仅在用户的测试数据中保留一次这些项目。
特别地，本发明实施例中提及的短期会话通常指的是用户在一个会话中一段较短时间内，例如15分钟内，商品的点击序列，而长期会话指的是用户在一周内或更长时间内的用户商品点击序列。
实施例2
在实施例1的基础上，本实施例给出对数据的处理方式。
对非序列化数据处理，非序列化数据包括用户属性信息和商品的属性，在Embedding层，本实施例对三种不同的特征分别进行了处理，这三种特征分别是单值离散特征、多值离散特征和连续特征。对于单值离散特征，直接通过Embedding词表得到对应的Embedding表示，表示为：ei＝Vixi，其中Vi表示；对于离散特征来说，xi是one-hot向量或者multi-hot向量，取值非0即1，而对于连续特征，xi直接就是一个标量，将标量的取值直接与其对应的Embedding相乘，即：em＝vmxm，其中，em表示特征m的embedding向量输出，vm表示特征m的mask向量输出，xm表示特征m的one-hot向量输出；
对于多值离散特征，通过Embedding词表得到对应Embedding之后，还需要通过avg-pooling的方式对同一个field的Embedding进行平均，表示为：
其中q为多值离散特征中取值的个数。
实施例3
本实施例进行兴趣提取层提取用户短期兴趣特征的过程，该过程具体包括：
对用户点击商品序列进行一个顺序的编码，该操作记为位置编码，并在位置编码的基础上进行偏差编码；
添加偏差编码之后更新用户的行为会话；
构建基于多头注意力机制的前馈网络并计算用户第k次会话兴趣，该第k次会话兴趣即为用户的特征。
对序列化数据进行处理，序列化数据就是用户在一个会话id中进行商品交互行为的一段数据，会话兴趣提取器层同一会话中的行为彼此密切相关。此外，用户在会话中的随意行为会使会话兴趣偏离其原始表达。为了捕捉同一会话中行为之间的内在关系并减少这些不相关行为的影响，在每个会话中采用多头自我机制，还对自我关注机制进行了一些改进，以更好地实现我们的目标。
为了利用序列的顺序关系，自我关注机制将位置编码应用于输入嵌入；此外，还需要捕获会话的顺序关系和不同表示子空间中存在的偏差。因此，在位置编码的基础上对
进行偏差编码，其中偏差编码BE中的每个元素定义如下：
其中
是会话的偏向量，下标k是会话的索引，
是会话中位置的偏向量，下标t是会话中行为的索引，
是单元的偏向量行为嵌入中的位置，下标c是行为嵌入中单位的索引。添加偏差编码后，用户的行为会话Q更新如下：
Q＝Q+BE
多头注意力机制，在推荐***中，用户的点击行为受各种因素(例如颜色，款式和价格)的影响。多头自我注意可以捕获不同表示子空间中的关系。在数学上，让Qk＝[Qk1；....；Qkh；....QkH]其中
是Qk的第h个头，H是头数和
headh的输出计算如下:
其中，Qkh为Qk的第h个头向量；Qk为Query向量；WQ为Query向量的线性变换输出矩阵；WK为Key向量的线性变换输出矩阵；WV为Value向量的线性变换输出矩阵；dmodel为模型输入矩阵。
然后将不同磁头的矢量连接起来，然后输入前馈网络：
其中，FFN(·)是前馈网络，WO是线性矩阵。
连续进行残余连接和层规范化，用户的第k次会话兴趣Ik计算如下：
其中，Avg是平均合并；特别地，权重在不同会话的自我关注机制中共享。
实施例4
本实施例给出一种交互层提取用户长期兴趣特征的过程，具体包括以下步骤：
获取在特定注意力头h下定义特征m和特征k之间的相关性；
通过组合由系数h、k引导的所有相关特征来更新子空间h中的特征m；
在网络中添加标准残差连接，获得最终的长期兴趣特征。
交互层是Transformer的encoder部分，由多层进行堆叠来学习特征之间的高阶组合，本发明在特定注意头h下定义特征m和特征k之间的相关性，可以表示为：
其中，
表示特征m,k在h头下的注意力向量输出；ψ(h)(em，ek)表示特征m和特征k之间的embedding向量的聚合输出；
表示Query向量h头下的线性变换矩阵，
表示Key向量h头下的线性变换矩阵，这两个矩阵是将原始嵌入空间Rd映射到新空间Rd’的变换矩阵。
接着通过组合由系数h，k引导的所有相关特征来更新子空间h中的特征m的表示
其中，
表示特征m在h头下的embedding向量；
表示Value向量在h头下的线性变换矩阵；
表示特征m在各个头下的embedding向量中的总向量表示；
是连接运算符，H是总头数。
为了保留以前学过的组合特征，包括原始的单个特征，在网络中添加标准残差连接。从形式上看，
其中，
表示特征m的embedding向量在兴趣交互层下的的激活函数值，WRes表示特征m的在兴趣交互层下的线性变换矩阵；而ReLU(z)＝max(0，z)是非线性激活函数；利用这样的交互层，每个特征em的表示将被更新为新的特征表示
这个心得特征表示为高阶特征的表示，可以使用前一个交互层的输出堆叠多个这样的层作为下一个交互层的输入。通以上方式，可以模拟任意顺序的组合特征。
实施例5
将实施例3获取的用户短期兴趣特征以及实施例4获取用户长期兴趣特征作为兴趣融合层的输入，进行特征融合，具体包括以下步骤：
从不同特征尺度对用户的长期兴趣偏好
进行编码，用户长期兴趣偏好
至少包括商品ID
叶类
第一类
商店
以及品牌
构建门控神经网络，该网络以长期会话兴趣偏好向量和短期会话兴趣偏好向量作为输入，并在门控制神经网络中进行一个加权最终输出推荐列表。
从不同的特征尺度对长期行为
进行编码，长期行为
由多个子集组构成，即
包括
(商品ID)，
(叶类)，
(第一类)，
(商店)和
(品牌)。使用用户个人资料嵌入作为查询向量来计算注意力得分，并获得的表示形式:
pu＝tanh(Wpzu+b)
其中，αk表示特征k的attention向量；
表示在特征T下用户融合兴趣向量；eu表示用户的embedding向量；
表示全连接神经网络；
表示用户融合兴趣向量；zu表示全连接神经网络；pu表示用户的长期行为向量；Wp表示zu向量的线性变换矩阵；b表示常数矩阵；
表示特征f下的长期会话兴趣向量；
表示特征j下的长期会话兴趣向量；f表示特征f。
为了结合短期行为，本实施例设计了一个门控神经网络，该网络以长期会话兴趣偏好和短期会话兴趣偏好作为输入。门矢量
用于确定时间和S形时的短期和长期贡献百分比，表示为：
得到了用户的兴趣表示
之后，根据日志可以得到用户下一个交互的物品，作为正例，接下来，采样K-1个负例物品。将K个物品对应的embedding，分别于用户兴趣表示计算内积，作为每个物品的得分。并最终通过softmax和交叉熵来计算损失，并进行模型训练：
其中，
表示每个抽样物品分布的预测概率；z表示物品得分；
表示交叉熵损失函数；
表示K个物品；yi表示物品i的真实概率；
表示物品i的预测概率。
如图2，在真实数据集当中，展示了用户在短期会话Su中浏览的各种杯子，包括红酒杯和冠军牌酒杯。本专利网络模型直接推荐冠军牌酒杯，因为和短期会话中最后一次点击有关，意味着用户现在更有可能对冠军牌酒杯感兴趣；同时，本专利网络模型中门控制网络模块可以捕捉和红酒中最相关的物品在该用户的大量长期会话Lu，其中也包括许多不相关的点击，如啤酒、削皮刀和小盘子，以及结合短期会话物品红酒杯，去产生推荐项目红酒醒酒器；这个案例展示了本专利网络模型门模块，表明专利网络模型门模块具有效性和准确的融合性。
本发明提出了一种长短期兴趣偏好的商品列表推荐方法，并通过对序列化数据和非序列化数据分别建模最后通过门融合机制进行商品列表推荐得到了较好的推荐结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，将待推荐的商品输入到包括了嵌入层、兴趣提取层、交互层、以及兴趣融合层通过以下步骤选择推荐给用户的商品列表，包括：
S1、将短期会话中用户点击的商品列表信息作为数据集，将该数据集输入到嵌入层，嵌入层将所有输入要素嵌入到固定大小的低维向量中；
S2、兴趣提取层通过捕获用户短期兴趣的低维向量中与待选择商品的关系，输出为用户的短期兴趣偏好；
S3、将长期历史数据作为数据集，并输入嵌入层获得长期历史数据固定大小的低维向量；
S4、将用户长期兴趣的低维向量输入交互层，在交互层中使用多头注意力机制寻找高阶特征，输出用户长期行为偏好；
S5、将兴趣提取层和交互层分别提取到长期和短期的特征输入融合层进行融合，并将融合结果作为推荐的商品列表。
2.根据权利要求1所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，兴趣提取层提取用户短期兴趣特征的过程包括：
对用户点击商品序列进行一个顺序的编码，该操作记为位置编码，并在位置编码的基础上进行偏差编码；
添加偏差编码之后更新用户的行为会话；
构建基于多头注意力机制的前馈网络并计算用户第k次会话兴趣，该第k次会话兴趣即为用户的特征。
3.根据权利要求2所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，用户第k次会话兴趣表示为：
其中，Ik表示用户第k次会话兴趣；Avg为平均合并运算；
表示特征Q的用户第k个会话中的兴趣向量；Concat表示向量之间的连接；headH表示transformer模型里面的第H个头向量；WO表示特征O的一个线性变换矩阵。
4.根据权利要求3所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，transformer模型里面的第H个头向量headH表示为：
其中，Qkh为Qk的第h个头向量；Qk为在第k次会话下的query向量；WQ为Query向量的线性变换输出矩阵；WK为Key向量的线性变换输出矩阵；WV为Value向量的线性变换输出矩阵；dmodel为模型输入矩阵。
5.根据权利要求1所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，交互层提取用户长期兴趣特征过程包括：
获取在特定注意力头h下定义特征m和特征k之间的相关性；
通过组合由系数h、k引导的所有相关特征来更新子空间h中的特征m；
在网络中添加标准残差连接，获得最终的长期兴趣特征。
6.根据权利要求5所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，在特定注意力头h下定义特征m和特征k之间的相关性表示为：
其中，
表示特征m,k在h头下的注意力向量输出；ψ(h)(em，ek)表示特征m和特征k之间的embedding向量的聚合输出；
表示Query向量h头下的线性变换矩阵；
表示Key向量h头下的线性变换矩阵；em表示特征m的embedding向量输出。
7.根据权利要求5所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，通过组合由系数h、k引导的所有相关特征来更新子空间h中的特征m包括：
其中，
表示特征m在h头下的embedding向量；
表示Value向量在h头下的线性变换矩阵；
表示特征m的embedding向量；⊕是连接运算符，H是总头数。
8.根据权利要求1所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，融合层融合长期用户兴趣特征和短期用户兴趣特征的过程表示为：
从不同特征尺度对用户的长期兴趣偏好
进行编码，用户长期兴趣偏好
至少包括商品
叶类
第一类
商店
以及品牌
将对于不同的特征集合，都经过一个attention层进行建模，如用户可能对不同的店铺偏好程度不同，对不同的品类偏好程度不同作为查询向量来计算用户不同特征集合下的注意力得分；
构建门控神经网络，该网络以长期会话兴趣偏好向量和短期会话兴趣偏好向量作为输入，并在门控制神经网络中进行一个加权最终输出推荐列表。
9.根据权利要求8所述的一种基于长短期会话兴趣偏好的商品列表推荐方法，通过权力要求8里面注意力得分，作为长期兴趣偏好和短期兴趣偏好对输入到门控神经网络中的贡献度，其中贡献度计算公式如下：
pu＝tanh（Ｗpzu+b)
其中，αk表示特征k的attention向量；
表示在特征T下用户融合兴趣向量；eu表示用户的embedding向量；
表示全连接神经网络；
表示用户融合兴趣向量；zu表示全连接神经网络；pu表示用户的长期行为向量；Wp表示zu向量的线性变换矩阵；b表示常数矩阵；
表示特征f下的长期会话兴趣向量；
表示特征j下的长期会话兴趣向量；f表示特征f。
10.根据权利要求8所述的一种基于长短期兴趣偏好的商品列表推荐方法，其特征在于，门控神经网络包括：
其中，
表示门向量用来控制长期和短期兴趣对整个商品推荐的贡献度；W1表示eu向量的线性变换矩阵；eu表示用户embedding向量；W2表示
向量的线性变换矩阵；
表示用户的短期行为向量；W3表示pu向量的线性变换矩阵；b表示常数矩阵；
表示用户行为向量；⊙表示元素对位相乘；pu表示用户的长期行为向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693227.4A CN111932336A (zh) | 2020-07-17 | 2020-07-17 | 一种基于长短期兴趣偏好的商品列表推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693227.4A CN111932336A (zh) | 2020-07-17 | 2020-07-17 | 一种基于长短期兴趣偏好的商品列表推荐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932336A true CN111932336A (zh) | 2020-11-13 |
Family
ID=73313786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010693227.4A Pending CN111932336A (zh) | 2020-07-17 | 2020-07-17 | 一种基于长短期兴趣偏好的商品列表推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932336A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559905A (zh) * | 2020-12-24 | 2021-03-26 | 北京理工大学 | 一种基于双模式注意力机制和社交相似度的会话推荐方法 |
| CN112818224A (zh) * | 2021-01-26 | 2021-05-18 | 北京百度网讯科技有限公司 | 信息推荐方法、装置、电子设备及可读存储介质 |
| CN112862007A (zh) * | 2021-03-29 | 2021-05-28 | 山东大学 | 基于用户兴趣编辑的商品序列推荐方法及*** |
| CN112905887A (zh) * | 2021-02-22 | 2021-06-04 | 中国计量大学 | 一种基于多兴趣短期优先模型的会话推荐方法 |
| CN112948683A (zh) * | 2021-03-16 | 2021-06-11 | 山西大学 | 一种社交信息动态融合的社会化推荐方法 |
| CN112950325A (zh) * | 2021-03-16 | 2021-06-11 | 山西大学 | 一种社交行为融合的自注意力序列推荐方法 |
| CN112948716A (zh) * | 2021-03-05 | 2021-06-11 | 桂林电子科技大学 | 一种基于多头注意力机制的连续兴趣点包推荐方法 |
| CN113407819A (zh) * | 2021-05-20 | 2021-09-17 | 桂林电子科技大学 | 一种基于残差网络的序列推荐方法、***及存储介质 |
| CN113505215A (zh) * | 2021-06-30 | 2021-10-15 | 北京明略软件***有限公司 | 产品推荐方法、装置、电子设备和存储介质 |
| CN113722599A (zh) * | 2021-09-06 | 2021-11-30 | 中国计量大学 | 一种基于用户长期兴趣和短期兴趣建模的会话推荐方法 |
| CN113868542A (zh) * | 2021-11-25 | 2021-12-31 | 平安科技（深圳）有限公司 | 基于注意力模型的推送数据获取方法、装置、设备及介质 |
| CN115099886A (zh) * | 2022-05-25 | 2022-09-23 | 华南理工大学 | 一种长短兴趣序列推荐方法、装置及存储介质 |
| WO2023108324A1 (zh) * | 2021-12-13 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 对比学习增强的双流模型推荐***及算法 |
| CN116562992A (zh) * | 2023-07-11 | 2023-08-08 | 数据空间研究院 | 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质 |
| CN116595157A (zh) * | 2023-07-17 | 2023-08-15 | 江西财经大学 | 基于用户意图融合的动态兴趣转移型会话推荐方法与*** |
| CN117455629A (zh) * | 2023-11-24 | 2024-01-26 | 美服数字科技(广州)有限公司 | 一种直播带货智能推送方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807156A (zh) * | 2019-10-23 | 2020-02-18 | 山东师范大学 | 一种基于用户序列点击行为的兴趣推荐方法及*** |
| CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
-
2020
- 2020-07-17 CN CN202010693227.4A patent/CN111932336A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807156A (zh) * | 2019-10-23 | 2020-02-18 | 山东师范大学 | 一种基于用户序列点击行为的兴趣推荐方法及*** |
| CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
Non-Patent Citations (3)
| Title |
|---|
| FUYU LV ET AL.: "SDM: Sequential Deep Matching Model for Online Large-scale Recommender System", 《PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 * |
| WEIPING SONG ET AL.: "AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks", 《PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 * |
| YUFEI FENG ET AL.: "Deep Session Interest Network for Click-Through Rate Prediction", 《HTTPS://DOI.ORG/10.48550/ARXIV.1905.06482》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559905A (zh) * | 2020-12-24 | 2021-03-26 | 北京理工大学 | 一种基于双模式注意力机制和社交相似度的会话推荐方法 |
| CN112559905B (zh) * | 2020-12-24 | 2022-09-06 | 北京理工大学 | 一种基于双模式注意力机制和社交相似度的会话推荐方法 |
| CN112818224A (zh) * | 2021-01-26 | 2021-05-18 | 北京百度网讯科技有限公司 | 信息推荐方法、装置、电子设备及可读存储介质 |
| CN112818224B (zh) * | 2021-01-26 | 2024-02-20 | 北京百度网讯科技有限公司 | 信息推荐方法、装置、电子设备及可读存储介质 |
| CN112905887A (zh) * | 2021-02-22 | 2021-06-04 | 中国计量大学 | 一种基于多兴趣短期优先模型的会话推荐方法 |
| CN112948716A (zh) * | 2021-03-05 | 2021-06-11 | 桂林电子科技大学 | 一种基于多头注意力机制的连续兴趣点包推荐方法 |
| CN112948716B (zh) * | 2021-03-05 | 2023-02-28 | 桂林电子科技大学 | 一种基于多头注意力机制的连续兴趣点包推荐方法 |
| CN112948683A (zh) * | 2021-03-16 | 2021-06-11 | 山西大学 | 一种社交信息动态融合的社会化推荐方法 |
| CN112950325A (zh) * | 2021-03-16 | 2021-06-11 | 山西大学 | 一种社交行为融合的自注意力序列推荐方法 |
| CN112950325B (zh) * | 2021-03-16 | 2023-10-03 | 山西大学 | 一种社交行为融合的自注意力序列推荐方法 |
| CN112862007A (zh) * | 2021-03-29 | 2021-05-28 | 山东大学 | 基于用户兴趣编辑的商品序列推荐方法及*** |
| CN112862007B (zh) * | 2021-03-29 | 2022-12-13 | 山东大学 | 基于用户兴趣编辑的商品序列推荐方法及*** |
| CN113407819B (zh) * | 2021-05-20 | 2022-06-17 | 桂林电子科技大学 | 一种基于残差网络的序列推荐方法、***及存储介质 |
| CN113407819A (zh) * | 2021-05-20 | 2021-09-17 | 桂林电子科技大学 | 一种基于残差网络的序列推荐方法、***及存储介质 |
| CN113505215A (zh) * | 2021-06-30 | 2021-10-15 | 北京明略软件***有限公司 | 产品推荐方法、装置、电子设备和存储介质 |
| CN113722599A (zh) * | 2021-09-06 | 2021-11-30 | 中国计量大学 | 一种基于用户长期兴趣和短期兴趣建模的会话推荐方法 |
| CN113868542B (zh) * | 2021-11-25 | 2022-03-11 | 平安科技（深圳）有限公司 | 基于注意力模型的推送数据获取方法、装置、设备及介质 |
| CN113868542A (zh) * | 2021-11-25 | 2021-12-31 | 平安科技（深圳）有限公司 | 基于注意力模型的推送数据获取方法、装置、设备及介质 |
| WO2023108324A1 (zh) * | 2021-12-13 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 对比学习增强的双流模型推荐***及算法 |
| CN115099886A (zh) * | 2022-05-25 | 2022-09-23 | 华南理工大学 | 一种长短兴趣序列推荐方法、装置及存储介质 |
| CN115099886B (zh) * | 2022-05-25 | 2024-04-19 | 华南理工大学 | 一种长短兴趣序列推荐方法、装置及存储介质 |
| CN116562992A (zh) * | 2023-07-11 | 2023-08-08 | 数据空间研究院 | 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质 |
| CN116562992B (zh) * | 2023-07-11 | 2023-09-29 | 数据空间研究院 | 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质 |
| CN116595157A (zh) * | 2023-07-17 | 2023-08-15 | 江西财经大学 | 基于用户意图融合的动态兴趣转移型会话推荐方法与*** |
| CN116595157B (zh) * | 2023-07-17 | 2023-09-19 | 江西财经大学 | 基于用户意图融合的动态兴趣转移型会话推荐方法与*** |
| CN117455629A (zh) * | 2023-11-24 | 2024-01-26 | 美服数字科技(广州)有限公司 | 一种直播带货智能推送方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932336A (zh) | 一种基于长短期兴趣偏好的商品列表推荐方法 | |
| CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及*** | |
| CN111523047B (zh) | 基于图神经网络的多关系协同过滤算法 | |
| CN111310063B (zh) | 基于神经网络的记忆感知门控因子分解机物品推荐方法 | |
| CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及*** | |
| CN109785062B (zh) | 一种基于协同过滤模型的混合神经网络推荐*** | |
| KR20190117584A (ko) | 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치 | |
| CN110781409B (zh) | 一种基于协同过滤的物品推荐方法 | |
| CN112364976B (zh) | 基于会话推荐***的用户偏好预测方法 | |
| CN109087178A (zh) | 商品推荐方法和装置 | |
| CN110930219B (zh) | 一种基于多特征融合的个性化电商推荐方法 | |
| EP1493118A1 (en) | Determination of attributes based on product descriptions | |
| CN112712418B (zh) | 推荐商品信息的确定方法和装置、存储介质及电子设备 | |
| CN111127146A (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及*** | |
| CN114861050A (zh) | 一种基于神经网络的特征融合推荐方法及*** | |
| CN116228368A (zh) | 一种基于深度多行为网络的广告点击率预测方法 | |
| Srilakshmi et al. | Two-stage system using item features for next-item recommendation | |
| CN116932896A (zh) | 一种基于注意力机制的多模型融合个性化推荐架构 | |
| Wang et al. | Bayesian deep learning based exploration-exploitation for personalized recommendations | |
| CN113704439B (zh) | 一种基于多来源信息异构图的会话推荐方法 | |
| CN115293812A (zh) | 一种基于长短期兴趣的电商平台会话感知推荐预测方法 | |
| CN114519600A (zh) | 一种融合相邻节点方差的图神经网络ctr预估算法 | |
| CN115525819A (zh) | 一种面向信息茧房的跨领域推荐方法 | |
| Ahsan et al. | Complementary Recommendations Using Deep Multi-modal Embeddings For Online Retail | |
| CN110956528A (zh) | 一种电商平台的推荐方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |
|
| RJ01 | Rejection of invention patent application after publication |