CN114119151A - 下一个购物篮个性化推荐方法、***及介质 - Google Patents

下一个购物篮个性化推荐方法、***及介质 Download PDF

Info

Publication number
CN114119151A
CN114119151A CN202111394783.2A CN202111394783A CN114119151A CN 114119151 A CN114119151 A CN 114119151A CN 202111394783 A CN202111394783 A CN 202111394783A CN 114119151 A CN114119151 A CN 114119151A
Authority
CN
China
Prior art keywords
behavior
shopping basket
interaction
user
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111394783.2A
Other languages
English (en)
Other versions
CN114119151B (zh
Inventor
欧宝源
沈艳艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111394783.2A priority Critical patent/CN114119151B/zh
Publication of CN114119151A publication Critical patent/CN114119151A/zh
Application granted granted Critical
Publication of CN114119151B publication Critical patent/CN114119151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种下一个购物篮个性化推荐方法、***及介质，包括：数据预处理步骤：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；模型训练步骤：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；下一个购物篮推荐步骤：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。本发明利用元知识学习、循环神经网络以及序列重复复制机制，根据用户物品间的多行为交互序列，融合提取用户不同行为的共性与个性特征以及长短期个性化兴趣，有效提高下一个购物篮个性化推荐预测精度。

Description

下一个购物篮个性化推荐方法、***及介质
技术领域
本发明涉及个性化推荐技术领域，具体地，涉及一种下一个购物篮个性化推荐方法、***及介质，尤其地，涉及基于密集神经网络连接、循环神经块和分层多尺度更新机制，更好地学习文本中的长期依赖和分层结构，从而提高文本分类的准确率。
背景技术
在真实电商平台购物场景中，下一个购物篮推荐(如图1所示)，即为用户推荐一份购物列表用于下个时间点购买。一个购物篮可以看作是用户在一个时间点到下一个时间点这个时间段内交互过的物品集合。实际上用户与物品之间有多种交互行为，包括但不限于点击、添加到购物车、收藏、购买等等，通过这些不同的交互行为可以得到不同行为对应的购物篮序列。当一个用户对物品有点击、收藏等行为时，他会更倾向于购买这件物品。在本发明应用的场景中，购买行为就是目标行为，本发明旨在学习用户物品交互的多行为序列，推荐目标行为序列的下一个购物篮。在过去的研究中有各种各样的方法被提出来解决这一问题。
其中有一系列的研究在解决下一个购物篮推荐问题。一类是基于马尔科夫链的方法，假设下一个购物篮的物品与当前购物篮的物品是相互独立的。FPMC就是经典的马尔科夫链方法，把用户物品交互购物篮序列转化成转移矩阵，然后进行矩阵分解得到每个用户个性化特征表示。另一类是基于循环神经网络(RNN)的方法，DREAM考虑了历史购买行为序列来建模用户长期兴趣和短期爱好。
另外有一系列的研究是利用用户多行为交互序列进行个性化推荐建模。一类是利用单个循环神经网络处理多行为交互序列，通过给不同行为序列加上标记以区分，如RLBL，BINN等。HUP采用金字塔循环神经网络(Pyramid RNN)建模用户的层次兴趣。MKM-SR利用物品属性构建物品属性图，利用用户物品交互序列构建交互图，从而采用图神经网络的方法建模用户特征。这些方法不能建模不同行为序列的物品之间的关系，无法学习多行为之间的联系，不同行为对目标行为的贡献程度。
本发明技术解决的问题:现有下一个购物篮个性化推荐***，往往都只考虑单个目标行为对最后推荐结果的影响，很少有研究用户多行为序列对最终推荐结果的贡献。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种下一个购物篮个性化推荐方法、***及介质。
根据本发明提供的一种下一个购物篮个性化推荐方法，包括：
数据预处理步骤：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐步骤：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
优选的，所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
优选的，所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块；
优选的，所述的多行为交互的下一个购物篮推荐模型为：
Figure BDA0003369653610000021
Figure BDA0003369653610000022
其中，
Figure BDA0003369653610000023
表示训练的目标函数；
φ*表示目标行为；
Figure BDA0003369653610000031
为用户u通过行为φ交互的购物篮；
Figure BDA0003369653610000032
为用户u在时间窗口T+1通过目标行为φ*交互的购物篮；
Figure BDA0003369653610000033
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
优选的，所述的历史多行为交互序列数据为：过去T个时间窗口不同行为的购物篮序列数据，有|Φ|组交互购物篮序列数据，|Φ|表示不同的交互行为种类数。
根据本发明提供的一种下一个购物篮个性化推荐***，包括：
数据预处理模块：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐模块：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
优选的，所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
优选的，所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块；
优选的，所述的多行为交互的下一个购物篮推荐模型为：
Figure BDA0003369653610000034
Figure BDA0003369653610000035
其中，
Figure BDA0003369653610000036
表示训练的目标函数；
φ*表示目标行为；
Figure BDA0003369653610000041
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被执行时实现上述的下一个购物篮个性化推荐方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于循环神经网络、元知识学习及重复复制机制，能够有效地显式提取用户物品间多种行为交互隐藏的个性化用户特征，融合时间序列长期用户兴趣趋势特征，能够有效地提高预测下一个购物篮内目标行为交互物品准确率。
2、本发明利用用户物品间的多行为交互序列，学习多元行为知识表示，对用户购买行为进行下一个购物篮个性化推荐。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的用户物品间交互购物篮序列示意图。
图2为本发明的优选例提供的学习用户物品间多行为交互的下一个购物篮个性化推荐模型结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种下一个购物篮个性化推荐方法，包括：
数据预处理步骤：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐步骤：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
进一步的，所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
进一步的，所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块；
所述的购物篮编码模块包括物品嵌入层与购物篮池化层；输入用户u通过行为φ交互的购物篮序列
Figure BDA0003369653610000051
其中
Figure BDA0003369653610000052
为用户u在时间点t通过行为φ交互的购物篮。购物篮中一件物品的编号v，物品嵌入层将每一个物品v通过映射矩阵P表示为一个物品向量ev。由于每个购物篮由一系列物品组成，购物篮池化层对一系列物品向量进行最大池化操作，取物品向量每个维度上的最大值组成购物篮向量
Figure BDA0003369653610000053
具体流程如下：
Figure BDA0003369653610000054
Figure BDA0003369653610000055
其中，
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA0003369653610000056
中物品的编号；
Figure BDA0003369653610000057
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA0003369653610000058
表示用户u通过行为φ交互的购物篮序列；
ev表示编号为v的物品的特征向量；
PT表示物品嵌入层映射矩阵转置；
de表示物品嵌入层向量空间的维度；
Figure BDA0003369653610000059
表示对应购物篮
Figure BDA00033696536100000510
的特征向量在第i维的值；
ev[i]表示编号为v的物品的特征向量在第i维的值。
所述的多行为循环神经网络模块：
输入用户u通过行为φ交互的购物篮序列特征向量
Figure BDA0003369653610000061
本模块利用|Φ|个行为循环神经网络处理多种行为购物篮序列，每个行为循环神经网络对应处理一种行为购物篮序列，为了捕捉不同交互行为的序列信息，每个行为循环神经网络的参数都是独立不共享的。同时为了在行为循环神经网络中利用到元知识信息，元知识循环神经网络的隐藏状态向量也需要被用来更新，在时间点t处理行为φ的行为循环神经网络的隐藏状态向量
Figure BDA0003369653610000062
更新方式如下：
Figure BDA0003369653610000063
其中，
Figure BDA0003369653610000064
表示上一步的处理行为φ的行为循环神经网络的隐藏状态；
Figure BDA0003369653610000065
表示当前步的元知识循环神经网络的隐藏状态；
Figure BDA0003369653610000066
表示行为φ的购物篮特征向量
Figure BDA0003369653610000067
对应的参数矩阵；
Figure BDA0003369653610000068
表示行为φ的隐藏状态向量
Figure BDA0003369653610000069
对应的参数矩阵；
Figure BDA00033696536100000610
表示元知识循环神经网络的隐藏状态
Figure BDA00033696536100000611
对应的参数矩阵；
bφ表示行为φ对应的误差项；
f是一个非线性的激活函数。
所述的元知识循环神经网络模块：
输入行为循环神经网络的隐藏状态向量
Figure BDA00033696536100000612
本模块的设计是为了捕捉不同交互行为之间的共同特征，聚合|Φ|个行为循环神经网络的隐藏状态向量，在时间点t的元知识循环神经网络的隐藏状态向量
Figure BDA00033696536100000613
更新方式如下：
Figure BDA00033696536100000614
其中，
|Φ|表示不同的交互行为种类数；
Figure BDA00033696536100000615
表示上一步的第1种行为对应的行为循环神经网络的隐藏状态，
Figure BDA00033696536100000616
表示上一步的第|Φ|种行为对应的行为循环神经网络的隐藏状态；
Figure BDA00033696536100000617
表示元知识循环神经网络学习到的参数矩阵；
bM表示元知识循环神经网络的误差项；
f是一个非线性的激活函数。
所述的解码器：
考虑到用户对交互过的物品再次进行交互的概率很高，解码器采用重复复制模式与个性生成模式来计算给定多行为交互购物篮序列
Figure BDA0003369653610000071
推荐下一个购物篮内物品v的概率
Figure BDA0003369653610000072
如下：
Figure BDA0003369653610000073
其中，
Gen表示物品v在截止到时间窗口T之前的购物篮中都没出现过的场景；
Repφ表示物品v在截止到时间窗口T之前的购物篮中出现过交互行为φ的场景；
考虑到用户物品间不同交互行为会导致不同的重复出现频率，根据Repφ场景下的得分函数ηRepφ(v)，预测在时间窗口T之前出现过的物品v在下一个购物篮中重复出现的概率
Figure BDA0003369653610000074
定义如下：
Figure BDA0003369653610000075
Figure BDA0003369653610000076
Figure BDA0003369653610000077
Figure BDA0003369653610000078
其中，
ηRepφ(v)表示得分函数；
Figure BDA0003369653610000079
表示行为φ对应的参数向量的转置；
Figure BDA00033696536100000710
表示时间窗口T的φ行为对应的行为循环神经网络的隐藏状态；
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA00033696536100000711
中物品的编号；
Figure BDA00033696536100000712
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA00033696536100000713
表示用户u通过行为φ交互的购物篮序列；
V′表示未出现在用户交互序列中的物品编号集合；
Z是确保最后生成概率符合规则的正则化项；
根据Gen场景下的得分函数ηGen(v)，预测在时间窗口T之前未出现过的物品v在下一个购物篮中出现的概率
Figure BDA0003369653610000081
定义如下：
Figure BDA0003369653610000082
Figure BDA0003369653610000083
其中，
ηGen(v)表示得分函数；
Figure BDA0003369653610000084
表示Gen场景的参数向量的转置；
Figure BDA0003369653610000085
表示时间步T的元知识循环神经网络的隐藏状态；
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA0003369653610000086
中物品的编号；
Figure BDA0003369653610000087
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA0003369653610000088
表示用户u通过行为φ交互的购物篮序列；
V′表示未出现在用户交互序列中的物品编号集合；
Z是确保最后生成概率符合规则的正则化项。
进一步的，所述对多行为交互的下一个购物篮推荐模型进行训练，获得训练后的模型：
利用多分类损失函数交叉熵作为多行为交互的下一个购物篮推荐模型的目标函数，目标函数如下：
Figure BDA0003369653610000089
Figure BDA00033696536100000810
其中，
Figure BDA00033696536100000811
表示训练的目标函数；
φ*表示目标行为；
Figure BDA00033696536100000812
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
进一步的，所述的历史多行为交互序列数据为：过去T个时间窗口不同行为的购物篮序列数据，有|Φ|组交互购物篮序列数据，|Φ|表示不同的交互行为种类数。
本发明介绍了一种下一个购物篮个性化推荐***，可以通过本发明给的下一个购物篮个性化推荐方法的步骤流程实现。本领域技术人员可以将所述下一个购物篮个性化推荐方法，理解为所述下一个购物篮个性化推荐***的一个优选例。包括：
数据预处理模块：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐模块：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
进一步的，所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
进一步的，所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块；
进一步的，所述的多行为交互的下一个购物篮推荐模型为：
Figure BDA0003369653610000091
Figure BDA0003369653610000092
其中，
Figure BDA0003369653610000093
表示训练的目标函数；
φ*表示目标行为；
Figure BDA0003369653610000094
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
下面通过优选例，对本发明进行更为具体的说明。
我们以阿里云天池数据集为例作为实施的距离。该数据集包括9137个用户，17611个物品，250452条点击行为交互数据，28766条添加到购物车行为交互数据，14249条收藏行为交互数据，39513条购买行为交互数据。其中购买行为是目标行为。我们将依次进行以下步骤。
(1)数据预处理
(1a)建立购物篮。根据每个用户与物品交互时间记录，将一个时间段内的交互物品归到一个购物篮中，不同行为的交互记录分别处理。
(1b)映射：将物品名称映射到物品ID。
(1c)物品向量初始化：给每个物品ID赋予一个随机初始化向量。
(1d)购物篮向量计算：根据购物篮里的物品向量利用最大池化方法计算购物篮向量。
(2)训练模型
(2a)初始化模型参数：随机初始化模型中的参数。
(2b)使用训练集训练模型：通常从训练集中随机抽取64或者128个样本组成一个批次输入神经网络进行训练。学习率测试了{0.01,0.001,0.0001}，并根据其在验证集上的表现选出最好的超参数。每个模型训练200个epoch，并且设置了及时停止策略，也即如果连续几个epoch在验证集上的表现没有提升就结束训练。实际情况显示，模型基本上在200个epoch以内都收敛了。
(2c)选择超参数：通过设置不同的超参数，如模型中时间窗口长度，隐藏层的神经单元个数等，来训练模型。最终我们通过验证集来比较不同模型的表现，选出预测误差(交叉熵)最小即预测精度最高的模型作为最终模型。
(3)预测
(3a)使用(2)中训练并选择的最优模型来对测试集进行预测。
本发明基于循环神经网络、元知识学习及重复复制机制，能够有效地显式提取用户物品间多种行为交互隐藏的个性化用户特征，融合时间序列长期用户兴趣趋势特征，能够有效地提高预测下一个购物篮内目标行为交互物品准确率。
优选例2：
1、本发明中的模型的特征，主要包含了3个部分：
(1)多行为循环神经网络
循环神经网络在不同的时间步之间建立连接，我们希望能够学习到用户长期个性化兴趣。同时为了处理多行为序列，设计多个行为循环神经网络，每个行为循环神经网络对应处理一种行为购物篮序列，为了捕捉不同交互行为的序列信息，每个行为循环神经网络的参数都是独立不共享的。同时为了在行为循环神经网络中利用到元知识信息，元知识循环神经网络的隐藏状态向量也需要被用来更新。
(2)元知识循环神经网络
受到元知识学习的启发，我们将元知识学习应用到循环神经网络。我们认为从用户的多行为交互序列中能提取出一些本质个性化特征，元知识学习与循环神经网络的结合能有效建模用户特征。元知识循环神经网络能够从各个行为循环神经网络中捕捉不同交互行为之间的共同特征，从本质上聚合提取用户个性化兴趣信息。
(3)重复复制机制
从用户物品间的交互历史记录来看，用户有倾向于重复交互以前交互过的物品。因此受到自然语言处理中对未出现在词典中的词进行拷贝机制的启发，我们设计了重复复制机制，计算用户与交互过的物品再次进行交互的概率。
优选例3：
本发明主要利用用户物品间多行为交互序列数据，提出了一个学习用户物品间多行为交互的下一个购物篮个性化推荐模型。本发明的下一个购物篮个性化推荐模型(如图2所示)主要包含两大部分：编码器和解码器。其中编码器包含3个不同的神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块；解码器包含2个不同的神经网络模块：重复复制模块与个性生成模块。下面，对这两大部分和5个不同的神经网络模块做详细介绍。
编码器：
编码器主要通过用户物品间多行为交互序列数据提取用户行为个性以及共性特征、用户长期偏好与短期偏好，包含三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块。
购物篮编码模块：包括物品嵌入层与购物篮池化层。输入用户u通过行为φ交互的购物篮序列
Figure BDA0003369653610000111
其中
Figure BDA0003369653610000112
为用户u在时间点t通过行为φ交互的购物篮。购物篮中一件物品的编号v，物品嵌入层将每一个物品v通过映射矩阵P表示为一个物品向量ev。由于每个购物篮由一系列物品组成，购物篮池化层对一系列物品向量进行最大池化操作，取物品向量每个维度上的最大值组成购物篮向量
Figure BDA0003369653610000113
具体流程如下：
Figure BDA0003369653610000114
Figure BDA0003369653610000115
其中，
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA0003369653610000121
中物品的编号；
Figure BDA0003369653610000122
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA0003369653610000123
表示用户u通过行为φ交互的购物篮序列；
ev表示编号为v的物品的特征向量；
PT表示物品嵌入层映射矩阵转置；
de表示物品嵌入层向量空间的维度；
Figure BDA0003369653610000124
表示对应购物篮
Figure BDA0003369653610000125
的特征向量在第i维的值；
ev[i]表示编号为v的物品的特征向量在第i维的值。
多行为循环神经网络模块：输入用户u通过行为φ交互的购物篮序列特征向量
Figure BDA0003369653610000126
Figure BDA0003369653610000127
本模块利用|Φ|个行为循环神经网络处理多种行为购物篮序列，每个行为循环神经网络对应处理一种行为购物篮序列，为了捕捉不同交互行为的序列信息，每个行为循环神经网络的参数都是独立不共享的。同时为了在行为循环神经网络中利用到元知识信息，元知识循环神经网络的隐藏状态向量也需要被用来更新，在时间点t处理行为φ的行为循环神经网络的隐藏状态向量
Figure BDA0003369653610000128
更新方式如下：
Figure BDA0003369653610000129
其中，
Figure BDA00033696536100001210
表示上一步的处理行为φ的行为循环神经网络的隐藏状态；
Figure BDA00033696536100001211
表示当前步的元知识循环神经网络的隐藏状态；
Figure BDA00033696536100001212
表示行为φ的购物篮特征向量
Figure BDA00033696536100001213
对应的参数矩阵；
Figure BDA00033696536100001214
表示行为φ的隐藏状态向量
Figure BDA00033696536100001215
对应的参数矩阵；
Figure BDA00033696536100001216
表示元知识循环神经网络的隐藏状态
Figure BDA00033696536100001217
对应的参数矩阵；
bφ表示行为φ对应的误差项；
f是一个非线性的激活函数。
元知识循环神经网络模块：输入行为循环神经网络的隐藏状态向量
Figure BDA00033696536100001218
本模块的设计是为了捕捉不同交互行为之间的共同特征，聚合|Φ|个行为循环神经网络的隐藏状态向量，在时间点t的元知识循环神经网络的隐藏状态向量
Figure BDA00033696536100001219
更新方式如下：
Figure BDA0003369653610000131
其中，
|Φ|表示不同的交互行为种类数；
Figure BDA0003369653610000132
表示上一步的第1种行为对应的行为循环神经网络的隐藏状态，
Figure BDA0003369653610000133
表示上一步的第|Φ|种行为对应的行为循环神经网络的隐藏状态；
Figure BDA0003369653610000134
表示元知识循环神经网络学习到的参数矩阵；
bM表示元知识循环神经网络的误差项；
f是一个非线性的激活函数。
解码器：
解码器主要通过编码器提取的用户个性及共性特征、用户长期偏好与短期偏好，预测下一个购物篮内进行目标行为交互的物品，主要包含2个不同的神经网络模块：重复复制模块与个性生成模块。
考虑到用户对交互过的物品再次进行交互的概率很高，解码器采用重复复制模式与个性生成模式来计算给定多行为交互购物篮序列
Figure BDA0003369653610000135
推荐下一个购物篮内物品v的概率
Figure BDA0003369653610000136
如下：
Figure BDA0003369653610000137
其中，
Gen表示物品v在截止到时间窗口T之前的购物篮中都没出现过的场景；
Repφ表示物品v在截止到时间窗口T之前的购物篮中出现过交互行为φ的场景。
重复复制模块：考虑到用户物品间不同交互行为会导致不同的重复出现频率，根据Repφ场景下的得分函数ηRepφ(v)，预测在时间窗口T之前出现过的物品v在下一个购物篮中重复出现的概率
Figure BDA0003369653610000138
定义如下：
Figure BDA0003369653610000139
Figure BDA00033696536100001310
Figure BDA00033696536100001311
Figure BDA00033696536100001312
其中，
ηRepφ(v)表示得分函数；
Figure BDA0003369653610000141
表示行为φ对应的参数向量的转置；
Figure BDA0003369653610000142
表示时间步T的φ行为对应的行为循环神经网络的隐藏状态；
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA0003369653610000143
中物品的编号；
Figure BDA0003369653610000144
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA0003369653610000145
表示用户u通过行为φ交互的购物篮序列；
V′表示未出现在用户交互序列中的物品编号集合；
Z是确保最后生成概率符合规则的正则化项；
个性生成模块：根据Gen场景下的得分函数ηGen(v)，预测在时间T之前未出现过的物品v在下一个购物篮中出现的概率
Figure BDA0003369653610000146
定义如下：
Figure BDA0003369653610000147
Figure BDA0003369653610000148
其中，
ηGen(v)表示得分函数；
Figure BDA0003369653610000149
表示Gen场景的参数向量的转置；
Figure BDA00033696536100001410
表示时间步T的元知识循环神经网络的隐藏状态；
Φ表示交互行为集合；
V表示物品编号集合；
v表示购物篮序列
Figure BDA00033696536100001411
中物品的编号；
Figure BDA00033696536100001412
表示用户u在时间点t通过行为φ交互的购物篮；
Figure BDA00033696536100001413
表示用户u通过行为φ交互的购物篮序列；
V′表示未出现在用户交互序列中的物品编号集合；
Z是确保最后生成概率符合规则的正则化项。
具体地，所述模型训练模块：
所述对多行为交互的下一个购物篮推荐模型进行训练，获得训练后的模型：
利用多分类损失函数交叉熵作为多行为交互的下一个购物篮推荐模型的目标函数，目标函数如下：
Figure BDA0003369653610000151
Figure BDA0003369653610000152
其中，
Figure BDA0003369653610000153
表示训练的目标函数；
φ*表示目标行为；
Figure BDA0003369653610000154
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
下一个购物篮预测结果生成：
在模型使用梯度下降的方式训练完成后，对每个用户利用用户个性及共性特征、用户长期偏好与短期偏好，来计算下一个购物篮内会进行目标行为交互的物品的概率，概率最高的k个物品作为下一个购物篮内的物品预测结果。
本发明介绍了一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时下一个购物篮个性化推荐方法的步骤，计算机可读存储介质可以是U盘、CD以及硬盘等。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种下一个购物篮个性化推荐方法，其特征在于，包括：
数据预处理步骤：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐步骤：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
2.根据权利要求1所述的下一个购物篮个性化推荐方法，其特征在于：所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
3.根据权利要求1所述的下一个购物篮个性化推荐方法，其特征在于：所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块。
4.根据权利要求3所述的下一个购物篮个性化推荐方法，其特征在于：所述的多行为交互的下一个购物篮推荐模型为：
Figure FDA0003369653600000011
Figure FDA0003369653600000012
其中，
Figure FDA0003369653600000013
表示训练的目标函数；
φ*表示目标行为；
Figure FDA0003369653600000021
为用户u通过行为φ交互的购物篮；
Figure FDA0003369653600000022
为用户u在时间窗口T+1通过目标行为φ*交互的购物篮；
Figure FDA0003369653600000023
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
5.根据权利要求4所述的下一个购物篮个性化推荐方法，其特征在于：所述的历史多行为交互序列数据为：过去T个时间窗口不同行为的购物篮序列数据，有|Φ|组交互购物篮序列数据，|Φ|表示不同的交互行为种类数。
6.一种下一个购物篮个性化推荐***，其特征在于，包括：
数据预处理模块：获取用户物品间多行为交互序列数据，对获取的交互序列数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，建立用户物品间多行为交互的下一个购物篮个性化推荐模型并进行训练，获得训练后的模型；
下一个购物篮推荐模块：根据获得的训练后的模型，输入历史多行为交互序列数据，训练后的模型输出下一个购物篮内进行目标行为交互的物品。
7.根据权利要求6所述的下一个购物篮个性化推荐***，其特征在于：所述对获取的用户物品间多行为交互序列数据进行预处理包括：
对用户物品间多行为交互序列数据进行预处理：对每个用户包含不同行为的交互序列，将不同行为交互序列拆分为多个同一行为交互序列，每个行为交互序列按交互时间顺序排序，在同一时间段内的进行交互的物品作为一个购物篮，最后获得每个用户的多行为交互购物篮序列；
所述用户物品间多行为交互序列数据包括：
用户对物品进行点击、添加到购物车、收藏、购买四种行为的用户物品交互序列，交互时间点。
8.根据权利要求6所述的下一个购物篮个性化推荐***，其特征在于：所述的多行为交互的下一个购物篮个性化推荐模型包括编码器和解码器；
所述编码器包括三个神经网络模块：购物篮编码模块、多行为循环神经网络模块以及元知识循环神经网络模块。
9.根据权利要求8所述的下一个购物篮个性化推荐***，其特征在于：所述的多行为交互的下一个购物篮推荐模型为：
Figure FDA0003369653600000031
Figure FDA0003369653600000032
其中，
Figure FDA0003369653600000033
表示训练的目标函数；
φ*表示目标行为；
Figure FDA0003369653600000034
表示训练集，xi表示多行为交互购物篮序列，yi表示xi对应的真实下一个购物篮；
Pr(v|xi)表示推荐下一个购物篮内物品v的概率。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于：所述计算机程序被执行时实现权利要求1-5任一项所述的下一个购物篮个性化推荐方法的步骤。
CN202111394783.2A 2021-11-23 2021-11-23 下一个购物篮个性化推荐方法、***及介质 Active CN114119151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111394783.2A CN114119151B (zh) 2021-11-23 2021-11-23 下一个购物篮个性化推荐方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111394783.2A CN114119151B (zh) 2021-11-23 2021-11-23 下一个购物篮个性化推荐方法、***及介质

Publications (2)

Publication Number Publication Date
CN114119151A true CN114119151A (zh) 2022-03-01
CN114119151B CN114119151B (zh) 2024-07-05

Family

ID=80439873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111394783.2A Active CN114119151B (zh) 2021-11-23 2021-11-23 下一个购物篮个性化推荐方法、***及介质

Country Status (1)

Country Link
CN (1) CN114119151B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114338A1 (zh) * 2022-11-29 2024-06-06 蚂蚁财富(上海)金融信息服务有限公司 一种训练行为预测模型的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016028494A1 (en) * 2014-08-20 2016-02-25 Thomson Licensing Method for detecting aversion and attraction from user rating data in a recommender system
CN110910218A (zh) * 2019-11-21 2020-03-24 南京邮电大学 一种基于深度学习的多行为迁移推荐方法
CN110955826A (zh) * 2019-11-08 2020-04-03 上海交通大学 基于改进型循环神经网络单元的推荐***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016028494A1 (en) * 2014-08-20 2016-02-25 Thomson Licensing Method for detecting aversion and attraction from user rating data in a recommender system
CN110955826A (zh) * 2019-11-08 2020-04-03 上海交通大学 基于改进型循环神经网络单元的推荐***
CN110910218A (zh) * 2019-11-21 2020-03-24 南京邮电大学 一种基于深度学习的多行为迁移推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANYAN SHEN 等: "MBN: Towards Multi-Behavior Sequence Modeling for Next Basket Recommendation", 《ACM TRANSACTIONS ON KNOWLEDGE DISCOVERY FROM DATA》, vol. 16, no. 5, 9 March 2022 (2022-03-09), pages 1, XP058690453, DOI: 10.1145/3497748 *
吴永豪: "基于大数据平台的无人智慧超市管理***设计", 《电子技术与软件工程》, vol. 12, 15 June 2021 (2021-06-15), pages 189 - 191 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114338A1 (zh) * 2022-11-29 2024-06-06 蚂蚁财富(上海)金融信息服务有限公司 一种训练行为预测模型的方法及装置

Also Published As

Publication number Publication date
CN114119151B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及***
CN107516110B (zh) 一种基于集成卷积编码的医疗问答语义聚类方法
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
CN110503531B (zh) 时序感知的动态社交场景推荐方法
Zhang Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory
CN107918782A (zh) 一种生成描述图像内容的自然语言的方法与***
Wen et al. Dynamic interactive multiview memory network for emotion recognition in conversation
CN112364638B (zh) 一种基于社交文本的人格识别方法
CN110955826B (zh) 基于改进型循环神经网络单元的推荐***
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113011186B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN112328900A (zh) 一种融合评分矩阵和评论文本的深度学习推荐方法
CN111127146A (zh) 基于卷积神经网络与降噪自编码器的信息推荐方法及***
CN113886626B (zh) 基于多重注意力机制的动态记忆网络模型的视觉问答方法
CN114238577B (zh) 融合多头注意力机制的多任务学习情感分类方法
CN112232087A (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN111400494A (zh) 一种基于GCN-Attention的情感分析方法
Puscasiu et al. Automated image captioning
Liong et al. Automatic traditional Chinese painting classification: A benchmarking analysis
CN114119151B (zh) 下一个购物篮个性化推荐方法、***及介质
Liu et al. Hands-On Deep Learning Architectures with Python: Create deep neural networks to solve computational problems using TensorFlow and Keras
Mejia-Escobar et al. Towards a Better Performance in Facial Expression Recognition: A Data‐Centric Approach
Kumar et al. Self-attention enhanced recurrent neural networks for sentence classification
CN115983269A (zh) 一种智慧社区数据命名实体识别方法、终端及计算机介质
CN113762324A (zh) 虚拟对象检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant