CN116108283A - 一种序列推荐的不确定性感知对比学习方法 - Google Patents
一种序列推荐的不确定性感知对比学习方法 Download PDFInfo
- Publication number
- CN116108283A CN116108283A CN202310388969.XA CN202310388969A CN116108283A CN 116108283 A CN116108283 A CN 116108283A CN 202310388969 A CN202310388969 A CN 202310388969A CN 116108283 A CN116108283 A CN 116108283A
- Authority
- CN
- China
- Prior art keywords
- sequence
- uncertainty
- user
- recommendation
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008447 perception Effects 0.000 title claims abstract description 40
- 230000001149 cognitive effect Effects 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 5
- 230000003993 interaction Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 239000012633 leachable Substances 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种序列推荐的不确定性感知对比学习方法包括，构建模型嵌入层；确定基本序列编码器；计算偶然不确定性感知对比学习损失，计算认知不确定性感知集成学习损失，得到模型的最终预测输出；计算主要推荐任务的损失；模型反向传播梯度更新模型参数。本方法为了减轻模型的认知不确定性，在编码器之后集成了多个独立的子网络，以捕获模型在不同表示级别的输出。此外，本方法还应用多样性正则化项来防止多个子网络的输出收敛。
Description
技术领域
本发明涉及序列推荐模型技术领域，尤其涉及一种序列推荐的不确定性感知对比学习方法。
背景技术
推荐***广泛应用于各大电子商务（如天猫、亚马逊）和流媒体（如Netflix）平台，以提供快速有效的个性化服务。在各种推荐方法中，序列推荐（SequentialRecommendation, SR）因其能够对用户的实时兴趣进行动态建模而越来越受到广泛关注。我方发明主要应用于电商场景下，根据用户点击商品生成的点击序列，预测用户接下来最有可能点击的商品。
SR 的目标是根据用户的历史行为序列，通过建模相应的项目到项目转换模式，向用户推荐以下感兴趣的项目。序列推荐的最新进展（例如，Caser、GRU4Rec 和 SASRec）提出了一系列模型来模拟用户兴趣的动态转换过程，并取得了显著成果。现有的序列推荐模型假设用户的动态兴趣是确定的，也就是说，在潜在空间中建模的用户嵌入是一个确定的向量。然而，在现实世界中，用户的兴趣是复杂多样的，一定的embedding不足以代表丰富的用户意图。因此，考虑不确定性变量如何影响推荐***是至关重要且具有实际意义的。
在电商场景下，用户的购物意图并不是确定的,用户的动态兴趣只依赖于过去的交互序列，偶尔会有用户引入交互序列的噪声。例如，在探索电子产品时，客户可能会被建议的流行但不相关的产品所吸引，或者可能出于各种原因无意中订购某些商品，所有这些都会对序列建模过程产生不可逆转的影响。数据本身的这种固有噪声被称为偶然不确定性。
另一方面，序列推荐模型仅将用户不断变化的兴趣表示为单个嵌入向量，这对于复杂多变的用户意图是不够的。不仅确定性建模过程会导致最终预测结果存在一定的偏差，而且推荐数据集固有的稀疏性导致的模型欠拟合问题也会使单一的建模方法捉襟见肘。如何缓解顺序推荐中由于数据有限和推荐模型训练不足带来的这种感知不确定性仍然是一个悬而未决的话题。
因此，我们提出了一种新的推荐模型，命名为 UCL4SR（Uncertainty-awareContrastive Learning for Sequential Recommendation）。具体来说，UCL4SR 利用对比学习来保持商品表示分布的均匀性。为了更好地利用对比学习来减轻数据中的偶然不确定性，我们引入了一个可学习的掩码矩阵来去除商品之间不相关的相关性。为了减轻我们模型的认知不确定性，我们在编码器之后集成了多个独立的子网络，以捕获模型在不同表示级别的输出。此外，应用多样性正则化项来防止多个子网络的输出收敛。在公共数据集上进行的大量实验表明，UCL4SR 始终比最先进的序列推荐方法具有更好的性能，并且具有很强的抗噪能力。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种序列推荐的不确定性感知对比学习方法，能够解决减轻序列推荐模型的认知不确定性，捕获模型在不同表示级别的输出，防止多个子网络的输出收敛。
为解决上述技术问题，本发明提供如下技术方案，一种序列推荐的不确定性感知对比学习方法，包括：
构建模型嵌入层；确定基本序列编码器；计算偶然不确定性感知对比学习损失，计算认知不确定性感知集成学习损失，得到模型的最终预测输出；计算主要推荐任务的损失；模型反向传播梯度更新模型参数。
作为本发明所述的序列推荐的不确定性感知对比学***台中所有的商品ID转换为嵌入向量，通过保持一个嵌入矩，将高维独热编码投影到低维密集表示上，所述嵌入矩阵为：；其中D是嵌入大小，|I|表示所有商品的数目，|I|xD表示这是一个|I|行D列的矩阵；给定用户u的交互序列表示为，通过矩阵中的商品ID进行索引得到对应的嵌入矩阵；矩阵的输入：每一个用户的交互商品ID序列；矩阵的输出：用户的交互商品序列对应的嵌入表示。
作为本发明所述的序列推荐的不确定性感知对比学习方法的一种优选方案，其中：所述基本序列编码器包括，选择 SASRec 作为骨干模型，通过堆叠多个 Transformer编码器对用户交互序列进行建模，给定第()层的序列表示，Transformer编码器在第l层的输出如下，
；
；
其中表示前馈神经网络，h表示的数目，，表示投影矩阵，D是嵌入大小，使用序列嵌入表示和位置编码的总和作为模型的输入，从公式中省略正则化策略，注意力机制被定义为，
；
其中Q，K，V分别表示查询、键、值，表示缩放因子；基本序列编码器输入：用户的交互商品序列对应的第层嵌入表示；基本序列编码器输出：经过基本序列编码器编码得到的用户交互序列的第层表示。
作为本发明所述的序列推荐的不确定性感知对比学习方法的一种优选方案，其中：所述注意力机制包括，每个自注意力层附加一个可训练的二进制掩码，以修剪嘈杂或与任务无关的注意力，对于第l个自注意层，引入一个二元矩阵，其中表示物品x和物品y之间的注意力连接是否存在，第l个自注意力层变为：
；
；
；
其中是原始的全注意力，表示稀疏注意力， 能够为不相关的依赖项产生恰好为零的注意力分数，从而提高可解释性，可微分掩码通过gumbel-softmax从输入分布中采样二进制单热向量，并应用重新参数化技巧使其可微分，如下所示：
；
输入：用户的交互商品序列对应的第层嵌入表示，输入到经过可学习掩蔽之后的序列编码器中；输出：经过可学习掩蔽之后得到的第层结果。
作为本发明所述的序列推荐的不确定性感知对比学习方法的一种优选方案，其中：所述偶然不确定性感知对比学习包括，给定用户u的交互序列，得到对应的两个增广序列,，增强是通过从合适的数据增强中随机选择aug'，aug''获得的，将用户的商品交互序列进行随机的掩蔽、删除、或者重排序，从而得到原始交互序列的两个增强版本的序列和。
作为本发明所述的序列推荐的不确定性感知对比学***均值，m = 1, ... M，对M个子网络生成的嵌入进行平均以提高预测性能，最终的对比损失表示如下：
；
其中τ是控制对比学习强度的温度，是从批次中随机抽取的一个序列的整体表示，应用点积作为相似函数sim，N表示批量大小；输入：输入序列经过数据增强之后的两个表示示和，分别输入到偶然不确定性感知对比学习模块中；输出：偶然不确定性对比学习损失。
作为本发明所述的序列推荐的不确定性感知对比学***方根；
；
其中是防止数值不稳定性的小标量1，表示M个子网络的输出表示的平均值，M表示子网络的总数目，表示第m个子网络输出的嵌入向量。
作为本发明所述的序列推荐的不确定性感知对比学习方法的一种优选方案，其中：所述认知不确定性感知集成学习损失还包括，多样性正则化函数表示如下：
；
多样性损失的目的是通过强制元素标准偏差接近来鼓励子网络之间的分歧，从而防止嵌入折叠到相同的向量，其中，α是人为设置的超参数，在代码中手动给出；输入：输入序列经过多个子网络之后的输出，输入到认知不确定性感知集成学习模块中；输出：认知不确定性损失。
作为本发明所述的序列推荐的不确定性感知对比学习方法的一种优选方案，其中：所述预测包括，将 Transformer 编码器最后一层的嵌入作为用户偏好的最终预测，并计算与所有item embedding的相似度，得到所有item的下一个位置的预测概率如下：
；
其中表示用户可能与之交互的所有商品的概率；输入：序列经过前面的编码之后得到的最终的序列表示，输入到预测层中；输出：预测层输出所有商品中是下一个点击商品的概率。
作为本发明所述的序列推荐的不确定性感知对比学***台中的历史交互序列，预测用户u将要点击的下一个商品，将序列拆分为一组子序列和目标如下：
；
其中表示的长度，表示Su序列的长度，上标表示对这个序列截取的范围，，而是的目标标签；使用交叉熵损失计算主要推荐任务的损失，如下所示：
；
其中表示基于的预测交互概率子序列；将推荐任务的损失添加到两个不确定性的损失中进行联合优化，以对模型进行多任务学习,UCL4SR最终的目标函数如下，
；
其中和是超参数，公式中的优化问题通过梯度下降算法求解；输入：用户交互序列编码之后的最终表示，输入到候选集推荐模块中；输出：当前用户推荐的商品。
本发明的有益效果：本发明方法基于不确定性感知的对比学习序列推荐模型（UCL4SR），具体来说，UCL4SR利用对比学习来保持商品表示分布的均匀性。为了更好地利用对比学习来减轻数据中的偶然不确定性，引入了一个可学习的掩码矩阵来去除商品之间不相关的相关性。为了减轻模型的认知不确定性，在编码器之后集成了多个独立的子网络，以捕获模型在不同表示级别的输出。此外，应用多样性正则化项来防止多个子网络的输出收敛。通过在公共数据集上进行的大量实验表明，UCL4SR 始终比最先进的序列推荐方法具有更好的性能，并且具有很强的抗噪能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种序列推荐的不确定性感知对比学习方法流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的第一个实施例，该实施例提供了一种序列推荐的不确定性感知对比学习方法，包括：
S1：构建模型嵌入层。
更进一步的，所述构建包括，将用户和商品的集合表示为U和L，用户和商品的数量分别为|U|和|L|,构建用户u的交互序列；其中，表示用户u交互过的第t个商品，表示交互序列的长度；
更进一步的，指定一个最大序列长度N统一输入序列的长度，当序列的长度大于N时进行裁剪，当序列长度不足N时，在前面补‘pad’标记。
应说明的是，所述嵌入层包括，使用一个查找表将电商平台中所有的商品ID转换为嵌入向量，通过保持一个嵌入矩阵，将高维独热编码投影到低维密集表示上，所述嵌入矩阵为：；其中D是嵌入大小，|I|表示所有商品的数目，|I|xD表示这是一个|I|行D列的矩阵。
更进一步的，给定用户u的交互序列表示为，通过矩阵中的商品ID进行索引得到对应的嵌入矩阵。
应说明的是，矩阵的输入：每一个用户的交互商品ID序列；矩阵的输出：用户的交互商品序列对应的嵌入表示。
S2：确定基本序列编码器。
更进一步的，所述基本序列编码器包括，选择 SASRec 作为骨干模型，通过堆叠多个 Transformer 编码器对用户交互序列进行建模，给定第()层的序列表示，Transformer编码器在第l层的输出如下，
；
；
其中表示前馈神经网络，h表示的数目，，表示投影矩阵，D是嵌入大小，使用序列嵌入表示和位置编码的总和作为模型的输入，从公式中省略正则化策略，注意力机制被定义为，
；
其中Q，K，V分别表示查询、键、值，表示缩放因子。
应说明的是，基本序列编码器输入：用户的交互商品序列对应的第层嵌入表示；基本序列编码器输出：经过基本序列编码器编码得到的用户交互序列的第层表示。
更进一步的，所述注意力机制包括，每个自注意力层附加一个可训练的二进制掩码，以修剪嘈杂或与任务无关的注意力，对于第l个自注意层，引入一个二元矩阵，其中表示物品x和物品y之间的注意力连接是否存在，第l个自注意力层变为：
；
；
；
其中是原始的全注意力，表示稀疏注意力，能够为不相关的依赖项产生恰好为零的注意力分数，从而提高可解释性，可微分掩码通过gumbel-softmax从输入分布中采样二进制单热向量，并应用重新参数化技巧使其可微分，如下所示：
；
应说明的是，输入：用户的交互商品序列对应的第层嵌入表示，输入到经过可学习掩蔽之后的序列编码器中；输出：经过可学习掩蔽之后得到的第层结果。
S3：计算偶然不确定性感知对比学习损失，计算认知不确定性感知集成学习损失，得到模型的最终预测输出。
应说明的是，所述偶然不确定性感知对比学习包括，给定用户u的交互序列，得到对应的两个增广序列,，增强是通过从合适的数据增强中随机选择aug'，aug''获得的，将用户的商品交互序列进行随机的掩蔽、删除或者重排序，从而得到原始交互序列的两个增强版本的序列和。
更进一步的，所述偶然不确定性感知对比学习还包括，将两个增强序列和馈送到编码器网络以输出用户表示和,表示用户由M个独立子网络进行转换；其中gm表示独立的子网络，具体使用的是多层感知机。
应说明的是，通过计算得到M个不同的嵌入向量，修改传统的自监督损失并将和替换为平均值，m = 1, ... M，对M个子网络生成的嵌入进行平均以提高预测性能，最终的对比损失表示如下：
；
其中τ是控制对比学习强度的温度，是从批次中随机抽取的一个序列的整体表示，应用点积作为相似函数sim，N表示批量大小。
更进一步的，输入：输入序列经过数据增强之后的两个表示和，分别输入到偶然不确定性感知对比学习模块中；输出：偶然不确定性对比学习损失。
应说明的是，所述认知不确定性感知集成学习损失包括，为了缓解模型在拟合数据过程中产生的认知不确定性问题，引入集成学习的思想来综合考虑模型的多个认知方面。
更进一步的，设计一个新的损失函数，用于在主要推荐任务的子网络训练期间鼓励多样性，将多样性正则化项定义为嵌入向量之间标准差差异，其中，表示第m个子网络的输出表示，标准差是方差的平方根；
；
其中是防止数值不稳定性的小标量，表示m个子网络的输出表示的平均值，M表示子网络的总数目，表示第m个子网络输出的嵌入向量。
更进一步的，所述预测包括，将 Transformer 编码器最后一层的嵌入作为用户偏好的最终预测，并计算与所有item embedding的相似度，得到所有item的下一个位置的预测概率如下：
；
其中表示用户可能与之交互的所有商品的概率。
应说明的是，输入：序列经过前面的编码之后得到的最终的序列表示，输入到预测层中；输出：预测层输出所有商品中是下一个点击商品的概率。
S4：计算主要推荐任务的损失。
更进一步的，所述计算主要推荐任务的损失包括，序列推荐的目标是根据用户在电商平台中的历史交互序列，预测用户u将要点击的下一个商品，将序列拆分为一组子序列和目标如下：，其中表示的长度，表示Su序列的长度，上标表示对这个序列截取的范围，，而是的目标标签。
更进一步的，使用交叉熵损失计算主要推荐任务的损失，如下所示：
；
其中表示基于的预测交互概率子序列。
应说明的是，将推荐任务的损失添加到两个不确定性的损失中进行联合优化，以对模型进行多任务学习,UCL4SR最终的目标函数如下，
；
其中和是超参数，公式中的优化问题通过梯度下降算法求解。
更进一步的，输入：用户交互序列编码之后的最终表示，输入到候选集推荐模块中；输出：当前用户推荐的商品。
S5：模型反向传播梯度更新模型参数。
实施例2
本发明的另一个实施例，提供了一种序列推荐的不确定性感知对比学习方法，为了验证本发明的有益效果，通过实验进行科学论证。
为了评估模型性能，在广泛使用的四个用于推荐的数据集上进行实验。数据集分别为Beauty、Amazon-Toys以及ML-1M。Beauty和Toys数据集是来自亚马逊网站的真实电商数据，包含了每位用户在亚马逊网站上的真实点击行为。
其中，ML-1M是一个经典的电影数据集，里面详细记录了每个用户的喜欢的电影数据，数据集详细数据如表1所示。
表1.数据集详细数据
我们采用了两个最常用的性能评估指标，即召回和归一化折扣累积增益（NDCG）。召回率是出现在前 N 个推荐中的 ground-truth 项目的准确性。 NDCG 是一种排名损失，用于衡量真实项目在前 N 个推荐中的位置。对于每个用户，我们根据预测得分对每个项目进行降序排序并生成推荐列表，并截取前 N 个项目，计算出评价指标的前 N 个结果。由于Recall@1 等价于 NDCG@1，我们报告Recall@{5,10,20}和NDCG@{5,10,20}的结果。此外，我们与常见的序列推荐模型进行了比较，具体的推荐性能如表2、3所示，其中表3中从左往右数第六列为最强基准模型CBiT，第七列为本发明模型UCL4SR的性能，第八列为UCL4SR相比CBiT提升的比例。
表2.部分常见的序列推荐模型推荐性能比较表
表3.部分常见的序列推荐模型推荐性能比较表
依据表2、3可知，我们的模型不但能够超越传统的序列推荐模型如SASRec、GRU4Rec、Caser，而且能够超过最新的对比学习序列推荐模型的效果。与STOSA这样的建模序列推荐不确定性的模型相比，也有一定的提升，这说明在电商场景中，我们所提出的序列推荐模型中考虑认知不确定性和偶然不确定性是必要的，能够自动消除用户点击过的商品中与用户购物意图不相符的商品，弱化噪声商品对于最终预测的影响。
本发明是一种序列推荐的不确定性感知对比学习方法，主要应用于电商场景下，根据用户点击商品生成的点击序列，预测用户接下来最有可能点击的商品。本方法首先构建模型嵌入层，确定基本序列编码器，再计算偶然不确定性感知对比学习损失，计算认知不确定性感知集成学习损失，得到模型的最终预测输出，之后计算主要推荐任务的损失，最终根据模型反向传播梯度更新模型参数。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种序列推荐的不确定性感知对比学习方法，其特征在于：包括，
构建模型嵌入层；
确定基本序列编码器；
计算偶然不确定性感知对比学习损失，计算认知不确定性感知集成学习损失，得到模型的最终预测输出；
计算主要推荐任务的损失；
模型反向传播梯度更新模型参数。
2.如权利要求1所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述构建包括，将用户和商品的集合表示为U和L，用户和商品的数量分别为|U|和|L|,构建用户u的交互序列；
其中，表示用户u交互过的第t个商品，表示交互序列的长度；
指定一个最大序列长度N统一输入序列的长度，当序列的长度大于N时进行裁剪，当序列长度不足N时，在前面补‘pad’标记；
所述嵌入层包括，使用一个查找表将电商平台中所有的商品ID转换为嵌入向量，通过保持一个嵌入矩阵，将高维独热编码投影到低维密集表示上，所述嵌入矩阵为：；
其中D是嵌入大小，|I|表示所有商品的数目，|I|xD表示这是一个|I|行D列的矩阵；
给定用户u的交互序列表示为，通过矩阵中的商品ID进行索引得到对应的嵌入矩阵；
矩阵的输入：每一个用户的交互商品ID序列；
矩阵的输出：用户的交互商品序列对应的嵌入表示。
3.如权利要求2所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述基本序列编码器包括，
选择 SASRec 作为骨干模型，通过堆叠多个 Transformer 编码器对用户交互序列进行建模，给定第()层的序列表示，Transformer编码器在第l层的输出如下，
；
；
其中表示前馈神经网络，h表示的数目，，表示投影矩阵，D是嵌入大小，Concat表示将矩阵按照嵌入维度进行拼接，使用序列嵌入表示和位置编码的总和作为模型的输入，从公式中省略正则化策略，注意力机制被定义为，
；
其中Q，K，V分别表示查询、键、值，表示缩放因子；
基本序列编码器输入：用户的交互商品序列对应的第层嵌入表示；
基本序列编码器输出：经过基本序列编码器编码得到的用户交互序列的第层表示。
4.如权利要求3所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述注意力机制包括，
每个自注意力层附加一个可训练的二进制掩码，以修剪嘈杂或与任务无关的注意力，对于第个自注意层，引入一个二元矩阵，其中表示物品x和物品y之间的注意力连接是否存在，第个自注意力层变为：
；
；
；
其中是原始的全注意力，表示稀疏注意力， 能够为不相关的依赖项产生恰好为零的注意力分数，从而提高可解释性，可微分掩码通过gumbel-softmax从输入分布中采样二进制单热向量，并应用重新参数化技巧使其可微分，如下所示：
；
其中表示经过gumbel-softmax采样与重参数化之后得到的可微分掩码；
输入：用户的交互商品序列对应的第层嵌入表示，输入到经过可学习掩蔽之后的序列编码器中；
输出：经过可学习掩蔽之后得到的第层结果。
5.如权利要求4所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述偶然不确定性感知对比学习包括，给定用户u的交互序列，得到对应的两个增广序列,，增强是通过从合适的数据增强中随机选择aug'，aug''获得的，将用户的商品交互序列进行随机的掩蔽、删除、或者重排序，从而得到原始交互序列的两个增强版本的序列和。
6.如权利要求5所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述偶然不确定性感知对比学习还包括，将两个增强序列和馈送到编码器网络以输出用户表示和,表示用户由M个独立子网络进行转换；
其中gm表示独立的子网络，具体使用的是多层感知机；
通过计算得到M个不同的嵌入向量，修改传统的自监督损失并将和替换为平均值，m = 1, ... M，对M个子网络生成的嵌入进行平均以提高预测性能，最终的对比损失表示如下：
；
其中τ是控制对比学习强度的温度，是从批次中随机抽取的一个序列k的整体表示，应用点积作为相似函数sim，表示随机序列k的总数目，exp表示以自然常数e为底的指数函数；
输入：输入序列经过数据增强之后的两个表示和，分别输入到偶然不确定性感知对比学习模块中；
输出：偶然不确定性对比学习损失。
7.如权利要求6所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述认知不确定性感知集成学习损失包括，为了缓解模型在拟合数据过程中产生的认知不确定性问题，引入集成学习的思想来综合考虑模型的多个认知方面；
设计一个新的损失函数，用于在主要推荐任务的子网络训练期间鼓励多样性，将多样性正则化项定义为嵌入向量之间标准差差异，其中，表示第m个子网络输出的嵌入向量，标准差是方差的平方根；
；
其中是防止数值不稳定性的小标量，表示M个子网络的输出表示的平均值，M表示子网络的总数目，表示第m个子网络输出的嵌入向量。
8.如权利要求7所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述认知不确定性感知集成学习损失还包括，多样性正则化函数表示如下：
；
多样性损失的目的是通过强制元素标准偏差接近来鼓励子网络之间的分歧，从而防止嵌入折叠到相同的向量，其中，α是人为设置的超参数，在代码中手动给出；
输入：输入序列经过多个子网络之后的输出，输入到认知不确定性感知集成学习模块中；
输出：认知不确定性损失。
9.如权利要求8所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述预测包括，
将 Transformer 编码器最后一层的嵌入作为用户偏好的最终预测，并计算与所有item embedding的相似度，得到所有item的下一个位置的预测概率如下：
；
其中表示用户可能与之交互的所有商品的概率；
输入：序列经过前面的编码之后得到的最终的序列表示，输入到预测层中；
输出：预测层输出所有商品中是下一个点击商品的概率。
10.如权利要求9所述的一种序列推荐的不确定性感知对比学习方法，其特征在于：所述计算主要推荐任务的损失包括，
序列推荐的目标是根据用户在电商平台中的历史交互序列，预测用户u将要点击的下一个商品，将序列拆分为一组子序列和目标如下：，其中表示的长度，表示Su序列的长度，上标表示对这个序列截取的范围，，而是的目标标签；
使用交叉熵损失计算主要推荐任务的损失，如下所示：
；
其中表示基于的预测交互概率子序列；
将推荐任务的损失添加到两个不确定性的损失中进行联合优化，以对模型进行多任务学习,UCL4SR最终的目标函数如下，
；
其中和是超参数，公式中的优化问题通过梯度下降算法求解；
输入：用户交互序列编码之后的最终表示，输入到候选集推荐模块中；
输出：当前用户推荐的商品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310388969.XA CN116108283B (zh) | 2023-04-13 | 2023-04-13 | 一种序列推荐的不确定性感知对比学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310388969.XA CN116108283B (zh) | 2023-04-13 | 2023-04-13 | 一种序列推荐的不确定性感知对比学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116108283A true CN116108283A (zh) | 2023-05-12 |
| CN116108283B CN116108283B (zh) | 2023-10-13 |
Family
ID=86265907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310388969.XA Active CN116108283B (zh) | 2023-04-13 | 2023-04-13 | 一种序列推荐的不确定性感知对比学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116108283B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118379585A (zh) * | 2024-06-24 | 2024-07-23 | 浙江大学 | 一种基于数据增强估计模型不确定度的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127165A (zh) * | 2019-12-26 | 2020-05-08 | 纪信智达(广州)信息技术有限公司 | 基于自注意力自编码器的序列推荐方法 |
| CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
-
2023
- 2023-04-13 CN CN202310388969.XA patent/CN116108283B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127165A (zh) * | 2019-12-26 | 2020-05-08 | 纪信智达(广州)信息技术有限公司 | 基于自注意力自编码器的序列推荐方法 |
| CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 许孟孟: "基于BERT的商品分类方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, pages 1 - 81 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118379585A (zh) * | 2024-06-24 | 2024-07-23 | 浙江大学 | 一种基于数据增强估计模型不确定度的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116108283B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429234B (zh) | 一种基于深度学习的商品序列推荐方法 | |
| Siyao et al. | Bailando: 3d dance generation by actor-critic gpt with choreographic memory | |
| CN112313697B (zh) | 用于生成描述角度增强的可解释的基于描述的推荐的***和方法 | |
| CN112035743B (zh) | 数据推荐方法、装置、计算机设备以及存储介质 | |
| CN109478254A (zh) | 使用合成梯度来训练神经网络 | |
| JP2024503774A (ja) | 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN111241394A (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
| CN116108283B (zh) | 一种序列推荐的不确定性感知对比学习方法 | |
| CN113641811B (zh) | 促进购买行为的会话推荐方法、***、设备及存储介质 | |
| CN112699310A (zh) | 基于深度神经网络的冷启动跨域混合推荐的方法及*** | |
| JP2023024932A (ja) | マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法 | |
| Hong et al. | CBCRS: An open case-based color recommendation system | |
| CN113868466B (zh) | 视频推荐的方法、装置、设备和存储介质 | |
| You et al. | QoS evaluation for web service recommendation | |
| CN116205700A (zh) | 目标产品的推荐方法、装置、计算机设备和存储介质 | |
| CN113763366A (zh) | 一种换脸方法、装置、设备及存储介质 | |
| Wang et al. | Stacked Noise Reduction Auto Encoder–OCEAN: A Novel Personalized Recommendation Model Enhanced | |
| CN113065321A (zh) | 基于lstm模型和超图的用户行为预测方法及*** | |
| Deorukhkar et al. | FGTD: face generation from textual description | |
| CN117786193A (zh) | 一种多媒体信息的生成方法及装置、计算机可读存储介质 | |
| CN115809339A (zh) | 跨领域推荐方法、***、设备及存储介质 | |
| Sharma et al. | A generalized novel image forgery detection method using generative adversarial network | |
| CN108830680A (zh) | 基于离散分解机的个性化推荐方法、***及存储介质 | |
| CN114328992A (zh) | 多媒体信息推荐方法、装置、程序产品、设备以及介质 | |
| Chalyi et al. | Temporal Modeling of User Preferences in Recommender System. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |