CN112101984A

CN112101984A - 一种融合用户微观行为和知识图谱的会话推荐模型

Info

Publication number: CN112101984A
Application number: CN202010822297.5A
Authority: CN
Inventors: 阳德青; 孟文静; 肖仰华
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2020-08-16
Filing date: 2020-08-16
Publication date: 2020-12-18

Abstract

本发明属于人工智能与信息检索技术领域，具体为一种融合用户微观行为和知识图谱的会话推荐模型，简称MKM‑SR。本发明模型首先使用不同的深度学习模型对用户的交互操作序列和交互物品序列分别进行编码，并将操作和物品的嵌入表示向量组合成用户的微观行为表示(向量)，再采用注意力机制基于的用户的微观行为表示生成会话的综合表示(向量)，从而实现对下一个交互物品的准确预测。此外，本模型还基于TransH知识表示模型调优物品表示，将其与会话推荐任务共同融入多任务学习框架，从而进一步提升会话推荐的效果，并有效缓解用户历史交互数据稀疏带来的问题。

Description

一种融合用户微观行为和知识图谱的会话推荐模型

技术领域

本发明属于人工智能与信息检索技术领域，具体涉及一种基于用户微观行为和知识图谱的会话推荐模型。

背景技术

在大数据时代，用户可以自由从海量的商品和服务做出选择，但是其中裹挟着不可避免的信息过载问题。推荐模型应运而生，个性化推荐模型根据用户的兴趣和行为特点，给用户推荐其可能感兴趣的信息和商品，帮助用户节省时间，挖掘用户潜在兴趣，还能提高商品的交互率，提高用户对平台的满意度和忠实度，为平台带来巨大的经济利益，因此一跃成为可以帮助用户做出合理的决策和选择的基础性工具。

会话推荐(session-based recommendation，简称SR)是指只利用用户在最近一段时期(会话)内的交互物品序列去预测用户下一个可能交互的物品，会话内的交互物品序列可准确捕捉用户的短期偏好，对于当前时间点的推荐具有重要意义。具体来说，“会话”用来指代一段指定时间内产生的“用户-物品”交互行为集合，交互可指购买商品，或者是点击广告、收看视频等行为。基于会话的推荐模型，能够刻画用户多元且动态变化的喜好以准确表示用户的短期偏好，具有较高的实用价值，引起了学术界和工业界越来越多的关注。随着深度神经网络的发展，很多人士通过用循环神经网络(简称RNN)、卷积神经网络(简称CNN)对会话建模，来捕捉用户动态偏好的方法已经越来越普遍，尽管取得了较好的效果，但是还存在如下一些待解决的问题：

问题一：忽视了用户与物品交互中的微观行为

现有研究大多从宏观角度看待会话，即只是把会话看作一些用户交互过的物品序列，而不考虑用户到底对这些物品具体进行了什么类型的操作。实际上，即使两个用户交互的是同一个物品，但如果具体交互的操作类型不同也会反映用户不同的偏好。

以图1为例，图中绿色虚线框中的内容可视为一个会话。会话s₁的用户首先搜索了乐队Maroon 5的一首hip-pop歌曲i₁，然后依次将其加入歌单和喜欢的歌曲列表，接着通过‘Artist More’这个操作搜索了Maroon 5乐队的更多作品，发现了歌曲i₂，并加入喜欢的歌曲列表。然后再通过‘Artist More’发现了歌曲i₃，尽管i₃还是Maroon 5的作品，但可能不是hip-pop风格。会话s₂中的用户也先通过搜索发现了歌曲i₁，然后通过‘GenreMore’操作搜到了更多hip-pop风格的歌曲，从而发现了歌曲i₂，并将其加入喜欢的歌曲列表。接着再通过‘Genre More’发现了歌曲i₄，因为它也是hip-pop风格，但不是Maroon 5的作品。

对于传统的基于用户宏观行为的会话推荐，其算法的基本原理是根据最近会话中交互过的物品(即歌曲i₁和i₂)来预测用户下一个可能交互的物品。根据这一原理，两个会话s₁和s₂中的交互歌曲是一样的，那么模型预测的下一个交互歌曲也会是一样的。但实际上从微观的用户操作类型层面看，两个会话内部的传递机制并不相同，s₁中的i₁是通过‘ArtistMore’到i₂，而s₂中的i₁则是通过‘Genre More’到i₂。据此预测用户下一个要交互的歌曲也应该是不同的，即应该分别推荐i₃和i₄。在此，将用户对交互物品所进行的具体操作视为用户的微观行为，用“物品-操作”对来表示用户的一个微观行为(图中红色虚线框所示)。

问题二：对物品知识的利用不够充分

大多数会话推荐模型只基于以往交互过的物品来推断用品的偏好，因此当交互记录稀疏时，推荐效果较差。针对这类数据稀疏问题(包括冷启动)，本发明模型中，有关物品的知识(例如商品所属的目录、品牌等)被作为辅助信息用来增强推荐效果。另外，物品知识也可以在一定程度上反映用户微观行为之间的转移机制。例如，图1的s₁用户从交互i₂转换到i₃的原因可以从两条知识三元组<i₁,song-artist,Maroon 5>和<i₂,song-artist,Maroon 5>中找到。由此可见物品知识对于基于用户微观行为的会话建模具有重要价值。

因此，本发明主要从两方面提出创新技术以增强会话推荐的效果，一是引入用户对物品的具体操作类型，从用户微观行为的视角对会话建模，使得用户的偏好表示力度更细、更精准；二是将物品知识的表示学习作为会话推荐的一个辅助(子)任务加入到多任务学习的框架中，有助于习得更优的物品表示向量，从而进一步提升会话推荐的效果。

发明内容

本发明的目的在于提供一种能够增强会话推荐效果的基于用户微观行为和知识图谱的会话推荐模型。

本发明提供的基于用户微观行为和知识图谱的会话推荐模型，简称MKM-SR，其架构图如图2所示，该模型的输入为一个给定的会话s和一个候选的物品i，以及包含物品及其属性特征的知识图谱

输出为该会话与候选物品的匹配分数

即将该物品预测为该会话的用户在下一时刻会交互的物品概率；该模型包括：门控图神经网络(简称GGNN)模型，门控循环单元(简称GRU)模型，软注意力机制模型，多层感知机，Softmax函数；TransH模型；其中，会话的内容包括会话中用户交互过的物品序列及相应的用户操作序列，这是与其他会话推荐模型最大的区别之处。其中：

所述输入模型的会话，其信息可表示为会话中的交互物品序列和用户操作序列，且都以用户的一个操作为单位，而用户的一个操作与其操作的对象(物品)则构成一个微观行为。例如，假设一个用户在浏览了商品A的评论后将其加入购物车，则在此产生的交互物品序列为“商品A、商品A”，操作序列为“浏览评论、加入购物车”，该用户的微观行为序列为“商品A-浏览评论、商品A-加入购物车”，这些序列的长度都为2。因此，同一个物品在交互物品序列中可能会重复出现多次。

对于会话中的用户交互物品序列和操作序列，采用不同的深度学习模型来学习得到相应的嵌入表示(向量)，并组成用户的微观行为表示(向量)序列，实现过程如下：

(1)对于用户交互物品序列，首先构建一个有向的交互物品图

对该图采用门控图神经网络(简称GGNN)模型[2]，习得每个交互物品的嵌入表示(向量)；

(2)对于用户操作序列，采用门控循环单元(简称GRU)模型[1]，习得每个操作的嵌入表示；

(3)将每个交互物品的表示和其对应的操作表示串联组成一个微观行为表示。

根据得到的用户微观行为表示序列，采用软注意力机制[4]生成会话的综合表示(向量)。然后，将会话综合表示(向量)与候选物品的表示(向量)输入多层感知机[5]，再利用Softmax函数计算出匹配分值

对于输入模型的物品知识图谱

采用TransH模型[3]，产生物品的知识嵌入表示(向量)，将该向量的训练作为辅助任务，与会话推荐的主任务(即

的计算)一起构建多任务学习框架，从而习得更优的物品表示，并提升会话推荐的准确率。

本发明中，所述的利用GGNN模型习得交互物品的表示，具体地，先基于交互物品序列构建一个有向的交互物品图

该图

的结构特点为：每个节点对序列中的一个物品，每条边连接的则是序列中紧挨着的两个交互物品。因为交互物品序列中的前后两个成员可能是同一个物品，因此图

中可能存在节点有一条指向自己的边(自环)。每条边带权重，值为归一化的出度。

下面分别详细阐述模型各部分的实现细节，其中，粗体小写字母表示向量，粗体大写字母表示矩阵)。

(1)关于物品表示的学习

考虑到会话中的交互物品序列中，不只是后面交互的物品与前面交互的物品有关联，前面的物品也会依赖于后面的物品，体现的是双向的传递影响。因此，RNN的模型(如GRU[1])因其只对单向传递影响建模并不适用，因此，本发明采用门控图神经网络(简称GGNN)模型[2]来对交互物品序列建模，以学出物品表示(向量)。

所述构建的有向的交互物品图

图中每个节点代表交互物品序列中的一个物品，每条边连接的是序列中紧挨着的两个交互物品，且边带权重，值为归一化的出度。请注意，一个交互物品序列中同一个物品可能重复出现，例如图1中会话s₁的交互物品序列是{i₁，i₁，i₁，i₂，i₂}，故该序列对应的有向图中节点i₁和i₂都有指向自己的边。

所述对图

应用GGNN模型以习得图中每个节点(即每个物品)的嵌入表示(向量)，具体的学习过程如下：首先通过查询(lookup)所有物品的嵌入表示矩阵，得到每个节点的初始嵌入表示，并用下面的公式进行更新：

上述公式中，A⁺和A^-分别是图

的入度矩阵和出度矩阵，⊙是哈达玛乘积。

是计算过程的中间向量，

和

分别是第h步的重设门(向量)与更新门(向量)，

则是第h步的候选状态(向量)，最后的

是更新h步后节点v的嵌入表示。假设更新H步后的节点嵌入表示是对应物品的最终嵌入表示，整个序列的最终物品嵌入表示为

根据图

的结构特点，一个会话中每个交互物品习得的嵌入表示是唯一的。

(2)关于操作表示学习

前述的GGNN模型并不适用于用户操作序列的建模，原因有二：首先，用户操作类型非常有限，所以对于一个会话而言，其中的操作大多是重复的，那么也构造同样的的

话构使得图中节点大多拥有同样的邻居，经过GGNN习得的各节点嵌入表示大都比较相似，没有区分度；其次，两个连续的操作之间通常有固定的单向传递机制，例如用户在阅读某个商品品的介绍或评论后，才有可能将其加入购物车，然后才会下单购买。因此，本发明采用门控循环单元(简称GRU)对操作序列建模更加合适；具体做法是：先通过查询所有操作的嵌入表示矩阵得到每个操作的初始嵌入(操作序列中排在第k位的操作初始嵌入表示为

)，并按以下按公式更新：

上式中，GRU(·)表示一个GRU单元的操作(具体参见[1])，Φ_GRU表示GRU单元的参数。

是第k-1位的状态(向量)，即操作序列中排在第k-1位的操作嵌入表示。通过GRU得到的操作序列最终表示为

请注意，根据GRU的学习机制，一个操作如果出现在序列中不同的位置，则其对应的嵌入表示也不同。

(3)关于会话表示

用户的一个微观行为由交互的物品和其对应的操作组成，因此将习得的序列中每个物品和其对应的操作表示串联，组成用户的一个微观行为表示(向量)：

考虑到每个微观行为对用户偏好建模的影响不同，本发明模型还采用软注意力机制[4]来生成更好的会话表示向量s,具体计算公式如下：

α_t＝β^Tσ(W₁m_L+W₂m_t+b_α)， (8)

s＝W₃[m_L；s_g]； (10)

其中，m_t是微观行为(表示)序列中第t个行为的表示，m_L是序列中最后(最近)一个微观行为的表示。α_t是第k个微观行为的注意力值(权重)，而W_1～3和b_α都是模型的待训练参数。

(4)关于模型预测

给定一个会话的表示s和一个候选物品的表示i_j，模型进一步利用多层感知机(简称MLP)和Softmax函数计算两者的匹配分值：

上式中，MLP(·)表示多层感知机的相关操作，具体参见[5]。

该会话推荐任务的损失函数采用如下的二元交叉熵函数：

上式中，y_sj是从训练集中可以观察到s与j的匹配情况。当物品j是会话s的用户下一时刻交互的物品，有y_sj＝1，否则y_sj＝0。

(5)关于知识表示学习

本发明模型为了进一步提升会话推荐的效果，还利用与物品有关的知识图谱,通过学习图谱中实体节点的嵌入表示来优化物品的嵌入表示。该图谱中包含物品这一大类实体，也包含物品的各属性所关联的实体，例如电影的演员、商品的厂商等。鉴于物品与其属性实体之间包含很多的多对一、多对多关系(例如多部电影有共同的导演，一部电影有多个演员，一个演员又会参演多部电影)，本发明直接利用TransH模型[3]来学习相关的知识(实体)表示，知识表示学习的目标函数定义为：

其中，K是所有整个模型中所有知识三元组的集合,i是物品实体i的表示，a是物品属性实体a的表示，d_r是关系r的表示，w_r是待训练参数。

(6)关于多任务学习框架

本发明模型的主任务是会话推荐，即公式(12)所示的目标，而公式(13)的知识表示学习目标则作为辅助任务，一起组成如下的综合(多任务)学习目标函数：

上式中的Φ表示模型所有待训练参数集合。通过对比实验发现，对于公式(14)的多任务学习目标采用如下交替训练方式效果更好：

本发明引入了用户与物品交互的具体操作类型，提出了用户微观行为的概念，使得模型能够捕获会话中更加细粒度的用户行为模式，从而实现精准的会话推荐。

根据会话中的用户交互物品序列和操作序列的不同特点，分别采用不同的模型(GGNN和GRU)来对两种序列建模。

采用软注意力机制进行基于物品嵌入表示和操作嵌入表示生成会话的综合表示。

引入知识图谱，利用知识表示学习来优化物品的嵌入表示，并将其与会话推荐的主任务一同加入多任务学习框架进行交替训练。

与现有技术相比，本发明的技术优点在于：

1、引入用户操作类型，提出从微观行为层面进行会话建模，用更一种细粒度的表示对会话中的用户行为模式进行刻画，从而提升会话推荐的准确率；

2、引入包含物品知识的知识图谱，采用多任务学习框架来将知识表示学习作为会话推荐的辅助任务一起进行交替训练，不仅能够缓解会话推荐中的数据稀疏问题，还进一步优化了物品表示，从而提升模型性能。

附图说明

图1为会话中的用户微观行为图示。

图2为本发明的推荐模型框架图示。

图3为在数据集上MMR@20训练、交替训练、联合训练的学习曲线。

具体实施方式

下面通过具体实施的例子和对比实验进一步介绍本发明的优越性。

1、超参数设置。本发明的MKM-SR模型和其他对比模型都相同的嵌入表示(向量)维度，即100维。所有的嵌入表示都通过0均值0.1标准差的高斯分布进行初始化。设置GGNN的迭代次数为1。MKM-SR及其变种(弱化)模型的多任务学习采用交替训练方式。此外，实验采用Adam优化器对模型中的参数进行学习，学习批次(batch-size)大小设为128，公式3中知识学习的权重λ₁设为0.001。

2、对比实验结果及分析。基于两个数据集KKBOX和JDATA进行对比实验，评测指标采用Hit@k和MRR@k。另外，为了验证模型在交互数据稀疏场景下的性能，对数据集做了两种人工改动，一是保留了只出现在测试集中的物品(用(N)标识)，这些物品可视为冷启动物品；二是模拟稀疏的JDATA数据集，即只保留最早的1％的用户行为，其中包含很多冷启动物品，命名为Demo数据集。对比实验结果如下表1所示，表明作者提出的MKM-SR在各数据集(包括稀疏场景数据集)上都具有明显的优势。表中下半部分的模型是MKM-SR的弱化变种，以验证MKM-SR模型不同部分设计的必要性和有效性。

图3中展示了在数据集上MMR@20训练、交替训练、联合训练的学***等的地位；但是联合训练中，高频物品的知识学习反复出现，即知识会对高频物品造成非常大的影响。需要注意的是，首先主要任务为推荐，高频物品通过会话信息的学习已经能够获得比较好的物品表示，不太需要知识信息的补足；此外用户和高频物品进行交互的原因往往和物品本身的属性关联性比较小，而是更多受到潮流、社交等原因的影响，所以知识的过学习会造成负迁移。因此，交替学习是在本实验场景下是一个更优的学习策略。

表1

参考文献：

[1]Kyunghyun Cho,Bart Van Merrienboer,DzmitryBahdanau,andYoshuaBengio.On the Properties of NeuralMachine Translation:Encoder-DecoderApproaches.In Computer Science,2014.

[2]Yujia Li,Richard Zemel,Marc Brockschmidt,and DanielTarlow.GATEDGRAPH SEQUENCE NEURAL NETWORKS.In Proceedings of ICLR,2016.

[3]Zhen Wang,Jianwen Zhang,Jianlin Feng,and Zheng Chen.Knowledgegraphembedding by translating on hyperplanes.In Twenty-Eighth AAAI conferenceonartificial intelligence,2014.

[4]Kelvin Xu,Jimmy Ba,Ryan Kiros,Kyunghyun Cho,Aaron C.Courville,RuslanSalakhutdinov,Richard S.Zemel,and YoshuaBengio:Show,Attend andTell:Neural Image Caption Generation with Visual Attention.In Proc.of ICML,2015.

[5]M.W Gardner et al.Artificial neural networks(the multilayerperceptron)—a review of applications in the atmospheric sciences.InAtmospheric Environment,1998.。