CN111369278A - 一种基于用户长短时期兴趣建模的点击率预测方法 - Google Patents

一种基于用户长短时期兴趣建模的点击率预测方法 Download PDF

Info

Publication number
CN111369278A
CN111369278A CN202010103305.0A CN202010103305A CN111369278A CN 111369278 A CN111369278 A CN 111369278A CN 202010103305 A CN202010103305 A CN 202010103305A CN 111369278 A CN111369278 A CN 111369278A
Authority
CN
China
Prior art keywords
user
interest
term
short
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010103305.0A
Other languages
English (en)
Inventor
汤景凡
张秀杰
张旻
姜明
黄涛
吴鑫强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010103305.0A priority Critical patent/CN111369278A/zh
Publication of CN111369278A publication Critical patent/CN111369278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于用户长短时期兴趣建模的点击率预测方法。本发明包括如下步骤：步骤(1)把用户行为序列划分为不同的session，然后利用自注意力机制模块来提取用户短期兴趣爱好；步骤(2)通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移；步骤(3)兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品；步骤(4)将步骤(3)处理之后的三个特征链接起来，输入到多重感知机中预测点击概率；步骤(5)对输出的概率计算负对数似然函数，负对数似然函数值越小，方法对应的效果越好。本发明解决点击率预测中出现的可解释性不强，准确率不高的问题，能够获得更好的效果和可解释性。

Description

一种基于用户长短时期兴趣建模的点击率预测方法
技术领域
本发明设计推荐***中的点击率预测领域,具体涉及多重通道记忆网络和自注意力机制实现点击率预测的方法
背景技术
预测用户对为购买商品的点击率，解决此类问题的关键是如何有效的处理序列化信息。当前存在三类处理序列信息的方法
第一种通过简单的LSTM模型或者CNN模型来处理序列化信息，我们都知道LSTM最后输出的就是一个隐藏向量，可解释性不强。另一方面LSTM在处理特征序列的时候并没有很好的区分每个特征的作用。这也是我们使用记忆网络来精确的处理序列化信息的原因。至于CNN模型，我们可以发现CNN无法很好的处理序列中特征的长间隔关联问题。这会造成无法提取用户爱好的变化特征。
第二种通过记忆网络来提取序列中的特征信息。此种方法能够很好的衡量每个点击物品在序列中的作用,能够提供很好的可解释性.但是记忆网络并没有很好的考虑到用户点击特征序列的session化问题。可能会导致无法有效的预测同一个session中其它物品的点击概率。
第三种方法通过使用多重通道的记忆网络来提取出序列化信息中用户的长期爱好及兴趣爱好的偏移。此记忆网络具有很好的可解释性，同时能够通过Attention衡量每个物品的不同作用。多重通道挖掘用户对同种类型物品兴趣爱好的迁移变化特征，每一个通道表示用户对某一种类被商品的兴趣迁移变化。我们把用户历史行为序列按照时间间隔划分为不同的session，然后利用最近的一次session序列来表示用户短期兴趣。由于用户行为序列的连贯性，用户在同一段时间间隔内点击的都是相似的物品。因此，那些选择最近k个行为序列作为用户最近兴趣表示的方法会造成序列中物品属于多个不同的session，从而无法有效的表示用户短期兴趣爱好。
发明内容
本发明的目的是针对现有技术的不足，提供一种联合自注意力机制和多重通道记忆网络的用户长短时期点击率预测方法，以解决点击率预测中出现的可解释性不强，准确率不高的问题。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤(1)把用户行为序列划分为不同的session，然后利用自注意力机制模块来提取用户短期兴趣爱好；
步骤(2)通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移；
步骤(3)兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品；
步骤(4)将步骤(3)处理之后的三个特征链接起来，输入到多重感知机中预测点击概率；
步骤(5)对输出的概率计算负对数似然函数，负对数似然函数值越小，方法对应的效果越好。
步骤(1)所述的session划分，具体实现过程如下：
1-1用户点击序列具有时效性和连续性的特点，根据时间间隔把用户点击序列划分为不同的session，比如都是衣服或者食品。按照时间间隔把用户点击序列划分为不同的session，具体来说，如果序列中两个相邻的物品点击时间间隔超过阈值(实验中我们设置30分钟)，，则将这两个相邻物品划分为不同的session区间，否则将这两个相邻物品划分为同一个session；由于用户短期兴趣爱好具有时效性特点，因此只需要利用最近一次的session区间内的点击序列就能够表示用户短期兴趣爱好；相比较那些选择最近前k个点击物品序列作为用户短期兴趣爱好的方法，我们的session能够更加合理的考虑到用户点击序列的时效性和连贯性特点。
1-2把用户、商品、用户行为序列的稀疏的特征嵌入转换为低维度密集的特征表示，所有用户信息可以表示成矩阵
Figure BDA0002387593690000021
其中Nu表示用户的个数；所有物品信息可以表示成
Figure BDA0002387593690000031
其中Ni表示物品的个数；用户行为序列表示为
Figure BDA0002387593690000032
N表示用户历史行为点击商品的个数，bi表示表示相应session中的第i个行为嵌入向量。
步骤1中构建自注意力模块来提取最近一次session中的用户短期的兴趣爱好，具体实现如下：
把用户行为序列S按照时间间隔划分为不同的session R，其中，用户u在t时刻最近一次session序列表示为
Figure BDA0002387593690000033
Figure BDA0002387593690000034
Figure BDA0002387593690000035
表示t时刻最近一次session序列中用户u点击行为发生的次数，bi表示相应session中的第i个行为嵌入向量，dmodel表示每次点击行为中物品嵌入维度；
首先，利用共享参数的非线性变化将查询
Figure BDA0002387593690000036
Figure BDA0002387593690000037
键(key)和
Figure BDA0002387593690000038
值(value)映射到同一空间；
Figure BDA0002387593690000039
Figure BDA00023875936900000310
Figure BDA00023875936900000311
其中，
Figure BDA00023875936900000312
是相应的映射权重矩阵；Relu用作激活函数，它能学习到特征中的非线***互；
Figure BDA00023875936900000313
分别表示映射之后的查询(query)、键(key)、值(value)矩阵；
然后，关联矩阵的计算如下:
Figure BDA00023875936900000314
Figure BDA00023875936900000315
其中输出一个
Figure BDA00023875936900000316
的注意力矩阵图
Figure BDA00023875936900000317
它表示
Figure BDA00023875936900000318
个物品之间的相似性；其中
Figure BDA00023875936900000319
用于缩放点乘之后的注意力值，
Figure BDA00023875936900000320
是用户短期爱好的矩阵表示。
步骤(2)所述中多通道记忆网络提取用户长期兴趣爱好及爱好的偏移情况。我们首先介绍模型中采用的记忆网络，然后再介绍多通道的处理。
步骤(2)中所述通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移，具体实现如下：
定义用户u的内存矩阵为
Figure BDA0002387593690000041
其中
Figure BDA0002387593690000042
表示用户u对历史物品记录相应特征的爱好表示向量；内存矩阵用于保存用户的长期爱好，每次有新数据加入的时候，都需要读取和更新用户内存矩阵。
所述的读取和更新用户内存矩阵的操作如下：
2-1.记忆网络中的读取操作如下
Figure BDA0002387593690000043
Figure BDA0002387593690000044
其中，α是增强参数,|| ||表示取模操作；bt表示表示相应session中的第t个行为嵌入向量，
Figure BDA0002387593690000045
表示没有正则化的权重值，
Figure BDA0002387593690000046
表示正则化之后的权重值；
接着把内存矩阵中向量的权重和作为最终的输出
Figure BDA0002387593690000047
Figure BDA0002387593690000048
2-2.记忆网络的写操作如下
eraset＝δ(ETbt+be)
Figure BDA0002387593690000049
其中δ(.)表示sigmoid激活函数，⊙表示按元素的点乘操作，E和be是要学习的擦除参数；
Figure BDA00023875936900000410
表示特征信息的擦除向量；bt表示表示相应session中的第t个行为嵌入向量；
Figure BDA00023875936900000411
其中A和ba是可学习的参数，tanh表示激活函数；这种擦除、添加、更新策略允许在学习过程中忘记和增强用户兴趣，并且该模型能够利用更新和擦除操作来自动的确定要减弱和增强的信号；
2-3.添加多重通道来增强记忆网络对于用户兴趣爱好偏移特征的挖掘；使用额外的兴趣偏移矩阵
Figure BDA0002387593690000051
来存储用户u在序列t时对同种类型物品兴趣偏移变化情况，首先
Figure BDA0002387593690000052
中包含m个单元槽，其中每个单元槽是一个通道，它表示用户对某一种类型物品的兴趣爱好迁移特征通道；在用户u的序列t时刻，从集合
Figure BDA0002387593690000053
中选择k个特征索引，其中
Figure BDA0002387593690000054
是记忆网络读操作中的权重向量，如下公式所述，对于任意选择的索引号i，更新相应的兴趣爱好偏移通道
Figure BDA0002387593690000055
Figure BDA0002387593690000056
其中
Figure BDA0002387593690000057
是用户内存矩阵第i个单元槽，bt行为嵌入向量；多重通道单元利用行为序列信息，同一通道前一时刻兴趣偏移信息
Figure BDA0002387593690000058
和内存矩阵对应单元槽信息
Figure BDA0002387593690000059
作为输入，接着使用GRU来进一步挖掘并更新相应通道下用户兴趣爱好的变化情况；由于GRU的参数对于多个通道是共享的，因此，不会增加很多训练参数。
步骤(3)所述的兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品，具体实现如下：
3-1.在进行点击率预测时，如果目标物品符合用户短期兴趣爱好，那么用户短期兴趣爱好对此次点击事件产生很大的影响；否则用户短期兴趣爱好对用户此次点击事件没有任何干扰；因此说明短期兴趣爱好需要关联相应的目标物品才能有效挖掘出用户最终的短期兴趣爱好表示向量
Figure BDA00023875936900000510
利用兴趣激活单元动态分配短期爱好矩阵中每个单元向量的权重；利用兴趣激活单元来计算权重具体公式如下：
Figure BDA00023875936900000511
其中，
Figure BDA00023875936900000512
表示关联目标物品和用户短期兴趣爱好的可学习交互矩阵，d表示经过嵌入层之后，物品最终向量维度，
Figure BDA00023875936900000513
表示物品v的嵌入向量表示，
Figure BDA0002387593690000061
表示在时刻t用户u的短期兴趣爱好矩阵
Figure BDA0002387593690000062
中的第i行向量；用户长期爱好关联目标物品之后的表示结果
Figure BDA0002387593690000063
计算如下：
Figure BDA0002387593690000064
其中，
Figure BDA0002387593690000065
表示关联用户长期兴趣爱好和目标物品的可学习交互矩阵，
Figure BDA0002387593690000066
表示在时刻t用户u的长期兴趣爱好矩阵
Figure BDA0002387593690000067
中的第i行向量；用户兴趣迁移变化特征关联目标物品之后的表示向量
Figure BDA0002387593690000068
如下面公式所述：
Figure BDA0002387593690000069
其中，
Figure BDA00023875936900000610
表示关联目标物品和用户兴趣迁移变化的可学***化，接着输入到多层感知机实现评分预测。
步骤(4)连接用户长期爱好、短期爱好及兴趣爱好偏移特征，接着把连接之后的特征向量送入到DNN中训练获取最终的一个点击概率p(x)；对应的损失函数如下：
Figure BDA00023875936900000613
其中x表示所有特征向量连接，D表示训练集，N表示训练集的个数，y∈{0,1}表示用户是否会点击此物品，并且p(.)是网络模型最终的预测结果值，它表示用户点击此物品概率。
本发明有益效果如下：
首先，用户短期兴趣具有时效性，同时用户点击序列具有连贯性。这意味着，在一段时间内用户点击序列属于同一种类别的商品，比如衣服或者蛋糕。传统的方法直接选择最近的K个序列物品来作为用户短期兴趣爱好地表示，它们忽视了用户短期爱好的时效性和连贯性。
其次，用户内在的兴趣爱好是相对固定的，同时，随着时间的变化，用户对同种类型物品的兴趣爱好也会发生迁移变化，我们利用多重通道地记忆网络来挖掘用户长期兴趣爱好及兴趣爱好偏移。传统的长短时期兴趣爱好忽视用户兴趣的迁移变化特征，因此不具有很好的效果。
最后在进行点击率预测的时候，如果目标物品符合用户短期爱好，那么用户短期兴趣爱好对此次点击事件产生很大的影响。否则，用户短期兴趣爱好对用户此次点击事件没有任何作用。这也就是说用户兴趣爱好是动态的，并且和要预测的目标物品相关。我们此激活单元作用就是把用户的兴趣爱好关联目标商品，从而生成用户爱好的动态表示。
本发明利用自注意力机制来提取短期的用户兴趣爱好，同时使用多重通道的记忆网络来提取用户长期的兴趣爱好及兴趣偏移情况.由于模型能够更加有效的提取序列化信息，所以能够获得更好的效果和可解释性。
附图说明
图1是本发明的模型图；
图2为本发明自注意力模块提取短期爱好示意图。
具体实施方式
附图非限制性的公开了本发明所涉及优选实施例的流程示意图；以下将结合附图详细的说明本发明的技术方案。
如图1所示，一种基于用户长短时期兴趣建模的点击率预测方法，其基本步骤如下:
步骤(1)把用户行为序列划分为不同的session，然后利用自注意力机制模块来提取用户短期兴趣爱好；
步骤(2)通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移；
步骤(3)兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品；
步骤(4)将步骤(3)处理之后的三个特征链接起来，输入到多重感知机中预测点击概率；即连接自注意力机制模块中挖掘出的短期兴趣爱好，多重通道记忆网络中挖掘出的长期兴趣爱好及兴趣爱好偏移特征输入到DNN来实现点击率预测；
步骤(5)对输出的概率计算负对数似然函数，负对数似然函数值越小，方法对应的效果越好。
步骤(1)所述的session划分，具体实现过程如下：
1-1用户点击序列具有时效性和连续性的特点，根据时间间隔把用户点击序列划分为不同的session，比如都是衣服或者食品。按照时间间隔把用户点击序列划分为不同的session，具体来说，如果序列中两个相邻的物品点击时间间隔超过阈值(实验中我们设置30分钟)，，则将这两个相邻物品划分为不同的session区间，否则将这两个相邻物品划分为同一个session；由于用户短期兴趣爱好具有时效性特点，因此只需要利用最近一次的session区间内的点击序列就能够表示用户短期兴趣爱好；相比较那些选择最近前k个点击物品序列作为用户短期兴趣爱好的方法，我们的session能够更加合理的考虑到用户点击序列的时效性和连贯性特点。
1-2把用户、商品、用户行为序列的稀疏的特征嵌入转换为低维度密集的特征表示，所有用户信息可以表示成矩阵
Figure BDA0002387593690000081
其中Nu表示用户的个数；所有物品信息可以表示成
Figure BDA0002387593690000082
其中Ni表示物品的个数；用户行为序列表示为
Figure BDA0002387593690000083
N表示用户历史行为点击商品的个数，bi表示表示相应session中的第i个行为嵌入向量。
步骤1中构建自注意力模块来提取最近一次session中的用户短期的兴趣爱好，具体实现如下：
把用户行为序列S按照时间间隔划分为不同的session R，其中，用户u在t时刻最近一次session序列表示为
Figure BDA0002387593690000084
Figure BDA0002387593690000091
Figure BDA0002387593690000092
表示t时刻最近一次session序列中用户u点击行为发生的次数，bi表示相应session中的第i个行为嵌入向量，dmodel表示每次点击行为中物品嵌入维度；
如图2所示，首先，利用共享参数的非线性变化将查询
Figure BDA0002387593690000093
Figure BDA0002387593690000094
Figure BDA0002387593690000095
键(key)和
Figure BDA0002387593690000096
值(value)映射到同一空间；
Figure BDA0002387593690000097
Figure BDA0002387593690000098
Figure BDA0002387593690000099
其中，
Figure BDA00023875936900000910
是相应的映射权重矩阵；Relu用作激活函数，它能学习到特征中的非线***互；
Figure BDA00023875936900000911
分别表示映射之后的查询(query)、键(key)、值(value)矩阵；
然后，关联矩阵的计算如下:
Figure BDA00023875936900000912
Figure BDA00023875936900000913
其中输出一个
Figure BDA00023875936900000914
的注意力矩阵图
Figure BDA00023875936900000915
它表示
Figure BDA00023875936900000916
个物品之间的相似性；其中
Figure BDA00023875936900000917
用于缩放点乘之后的注意力值，
Figure BDA00023875936900000918
是用户短期爱好的矩阵表示。
步骤(2)所述中多通道记忆网络提取用户长期兴趣爱好及爱好的偏移情况。我们首先介绍模型中采用的记忆网络，然后再介绍多通道的处理。
步骤(2)中所述通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移，具体实现如下：
定义用户u的内存矩阵为
Figure BDA00023875936900000919
其中
Figure BDA00023875936900000920
表示用户u对历史物品记录相应特征的爱好表示向量；内存矩阵用于保存用户的长期爱好，每次有新数据加入的时候，都需要读取和更新用户内存矩阵。
所述的读取和更新用户内存矩阵的操作如下：
2-1.记忆网络中的读取操作如下
Figure BDA0002387593690000101
Figure BDA0002387593690000102
其中，α是增强参数,|| ||表示取模操作；bt表示表示相应session中的第t个行为嵌入向量，
Figure BDA0002387593690000103
表示没有正则化的权重值，
Figure BDA0002387593690000104
表示正则化之后的权重值；
接着把内存矩阵中向量的权重和作为最终的输出
Figure BDA0002387593690000105
Figure BDA0002387593690000106
2-2.记忆网络的写操作如下
eraset＝δ(ETbt+be)
Figure BDA0002387593690000107
其中δ(.)表示sigmoid激活函数，⊙表示按元素的点乘操作，E和be是要学习的擦除参数；
Figure BDA0002387593690000108
表示特征信息的擦除向量；bt表示表示相应session中的第t个行为嵌入向量；
Figure BDA0002387593690000109
其中A和ba是可学习的参数，tanh表示激活函数；这种擦除、添加、更新策略允许在学习过程中忘记和增强用户兴趣，并且该模型能够利用更新和擦除操作来自动的确定要减弱和增强的信号；
2-3.添加多重通道来增强记忆网络对于用户兴趣爱好偏移特征的挖掘；使用额外的兴趣偏移矩阵
Figure BDA00023875936900001010
来存储用户u在序列t时对同种类型物品兴趣偏移变化情况，首先
Figure BDA00023875936900001011
中包含m个单元槽，其中每个单元槽是一个通道，它表示用户对某一种类型物品的兴趣爱好迁移特征通道；在用户u的序列t时刻，从集合
Figure BDA00023875936900001012
中选择k个特征索引，其中
Figure BDA00023875936900001013
是记忆网络读操作中的权重向量，如下公式所述，对于任意选择的索引号i，更新相应的兴趣爱好偏移通道
Figure BDA0002387593690000111
Figure BDA0002387593690000112
其中
Figure BDA0002387593690000113
是用户内存矩阵第i个单元槽，bt行为嵌入向量；多重通道单元利用行为序列信息，同一通道前一时刻兴趣偏移信息
Figure BDA0002387593690000114
和内存矩阵对应单元槽信息
Figure BDA0002387593690000115
作为输入，接着使用GRU来进一步挖掘并更新相应通道下用户兴趣爱好的变化情况；由于GRU的参数对于多个通道是共享的，因此，不会增加很多训练参数。
步骤(3)所述的兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品，具体实现如下：
3-1.在进行点击率预测时，如果目标物品符合用户短期兴趣爱好，那么用户短期兴趣爱好对此次点击事件产生很大的影响；否则用户短期兴趣爱好对用户此次点击事件没有任何干扰；因此说明短期兴趣爱好需要关联相应的目标物品才能有效挖掘出用户最终的短期兴趣爱好表示向量
Figure BDA0002387593690000116
利用兴趣激活单元动态分配短期爱好矩阵中每个单元向量的权重；利用兴趣激活单元来计算权重具体公式如下：
Figure BDA0002387593690000117
其中，
Figure BDA0002387593690000118
表示关联目标物品和用户短期兴趣爱好的可学习交互矩阵，d表示经过嵌入层之后，物品最终向量维度，
Figure BDA0002387593690000119
表示物品v的嵌入向量表示，
Figure BDA00023875936900001110
表示在时刻t用户u的短期兴趣爱好矩阵
Figure BDA00023875936900001111
中的第i行向量；用户长期爱好关联目标物品之后的表示结果
Figure BDA00023875936900001112
计算如下：
Figure BDA00023875936900001113
其中，
Figure BDA00023875936900001114
表示关联用户长期兴趣爱好和目标物品的可学习交互矩阵，
Figure BDA00023875936900001115
表示在时刻t用户u的长期兴趣爱好矩阵
Figure BDA00023875936900001116
中的第i行向量；用户兴趣迁移变化特征关联目标物品之后的表示向量
Figure BDA0002387593690000121
如下面公式所述：
Figure BDA0002387593690000122
其中，
Figure BDA0002387593690000123
表示关联目标物品和用户兴趣迁移变化的可学***化，接着输入到多层感知机实现评分预测。
步骤(4)连接用户长期爱好、短期爱好及兴趣爱好偏移特征，接着把连接之后的特征向量送入到DNN中训练获取最终的一个点击概率p(x)；对应的损失函数如下：
Figure BDA0002387593690000126
其中x表示所有特征向量连接，D表示训练集，N表示训练集的个数，y∈{0,1}表示用户是否会点击此物品，并且p(.)是网络模型最终的预测结果值，它表示用户点击此物品概率。

Claims (7)

1.一种基于用户长短时期兴趣建模的点击率预测方法，其特征在于包括如下步骤：
步骤(1)把用户行为序列划分为不同的session，然后利用自注意力机制模块来提取用户短期兴趣爱好；
步骤(2)通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移；
步骤(3)兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品；
步骤(4)将步骤(3)处理之后的三个特征链接起来，输入到多重感知机中预测点击概率；
步骤(5)对输出的概率计算负对数似然函数，负对数似然函数值越小，方法对应的效果越好。
2.根据权利要求1所述的一种基于用户长短时期兴趣的点击率预测方法,其特征在于步骤(1)所述的session划分，具体实现过程如下：
1-1用户点击序列具有时效性和连续性的特点，根据时间间隔把用户点击序列划分为不同的session，具体来说：如果用户点击序列中两个相邻的物品点击时间间隔超过设定阈值，则将这两个相邻物品划分为不同的session区间，否则将这两个相邻物品划分为同一个session；由于用户短期兴趣爱好具有时效性特点，因此只需要利用最近一次的session区间内的点击序列就能够表示用户短期兴趣爱好；
1-2把用户、商品、用户行为序列的稀疏的特征嵌入转换为低维度密集的特征表示，所有用户信息可以表示成矩阵
Figure FDA0002387593680000011
其中Nu表示用户的个数；所有物品信息可以表示成
Figure FDA0002387593680000012
其中Ni表示物品的个数；用户行为序列表示为
Figure FDA0002387593680000013
N表示用户历史行为点击商品的个数，bi表示表示相应session中的第i个行为嵌入向量。
3.根据权利要求1所述的基于用户长短时期兴趣建模的点击率预测方法,其特征在于步骤1中构建自注意力模块来提取最近一次session中的用户短期的兴趣爱好，具体实现如下：
把用户行为序列S按照时间间隔划分为不同的session R，其中，用户u在t时刻最近一次session序列表示为
Figure FDA0002387593680000021
Figure FDA0002387593680000022
Figure FDA0002387593680000023
表示t时刻最近一次session序列中用户u点击行为发生的次数，bi表示相应session中的第i个行为嵌入向量，dmtoel表示每次点击行为中物品嵌入维度；
首先，利用共享参数的非线性变化将查询
Figure FDA0002387593680000024
键(key)和
Figure FDA0002387593680000025
值(value)映射到同一空间；
Figure FDA0002387593680000026
Figure FDA0002387593680000027
Figure FDA0002387593680000028
其中，
Figure FDA0002387593680000029
是相应的映射权重矩阵；Relu用作激活函数，它能学习到特征中的非线***互；
Figure FDA00023875936800000210
分别表示映射之后的查询(query)、键(key)、值(value)矩阵；
然后，关联矩阵的计算如下:
Figure FDA00023875936800000211
Figure FDA00023875936800000212
其中输出一个
Figure FDA00023875936800000213
的注意力矩阵图
Figure FDA00023875936800000214
它表示
Figure FDA00023875936800000215
个物品之间的相似性；其中
Figure FDA00023875936800000216
用于缩放点乘之后的注意力值，
Figure FDA00023875936800000217
是用户短期爱好的矩阵表示。
4.根据权利要求3所述的基于用户长短时期兴趣建模的点击率预测方法,其特征在于步骤(2)中所述通过多重通道记忆网络提取用户长期兴趣爱好及兴趣爱好偏移，具体实现如下：
定义用户u的内存矩阵为
Figure FDA00023875936800000218
其中
Figure FDA00023875936800000219
表示用户u对历史物品记录相应特征的爱好表示向量；内存矩阵用于保存用户的长期爱好，每次有新数据加入的时候，都需要读取和更新用户内存矩阵。
5.根据权利要求4所述的基于用户长短时期兴趣建模的点击率预测方法,其特征在于读取和更新用户内存矩阵的操作如下：
2-1.记忆网络中的读取操作如下
Figure FDA0002387593680000031
Figure FDA0002387593680000032
其中，α是增强参数,||||表示取模操作；bt表示表示相应session中的第t个行为嵌入向量，
Figure FDA0002387593680000033
表示没有正则化的权重值，
Figure FDA0002387593680000034
表示正则化之后的权重值；
接着把内存矩阵中向量的权重和作为最终的输出
Figure FDA0002387593680000035
Figure FDA0002387593680000036
2-2.记忆网络的写操作如下
eraset=δ(ETbt+be)
Figure FDA0002387593680000037
其中δ(.)表示sigmoid激活函数，⊙表示按元素的点乘操作，E和be是要学习的擦除参数；
Figure FDA0002387593680000038
表示特征信息的擦除向量；bt表示表示相应session中的第t个行为嵌入向量；
Figure FDA0002387593680000039
其中A和ba是可学习的参数，tanh表示激活函数；这种擦除、添加、更新策略允许在学习过程中忘记和增强用户兴趣，并且该模型能够利用更新和擦除操作来自动的确定要减弱和增强的信号；
2-3.添加多重通道来增强记忆网络对于用户兴趣爱好偏移特征的挖掘；使用额外的兴趣偏移矩阵
Figure FDA00023875936800000310
来存储用户u在序列t时对同种类型物品兴趣偏移变化情况，首先
Figure FDA00023875936800000311
中包含m个单元槽，其中每个单元槽是一个通道，它表示用户对某一种类型物品的兴趣爱好迁移特征通道；在用户u的序列t时刻，从集合
Figure FDA00023875936800000312
中选择k个特征索引，其中
Figure FDA00023875936800000313
是记忆网络读操作中的权重向量，如下公式所述，对于任意选择的索引号i，更新相应的兴趣爱好偏移通道
Figure FDA00023875936800000314
Figure FDA0002387593680000041
其中
Figure FDA0002387593680000042
是用户内存矩阵第i个单元槽，bt行为嵌入向量；多重通道单元利用行为序列信息，同一通道前一时刻兴趣偏移信息
Figure FDA0002387593680000043
和内存矩阵对应单元槽信息
Figure FDA0002387593680000044
作为输入，接着使用GRU来进一步挖掘并更新相应通道下用户兴趣爱好的变化情况；由于GRU的参数对于多个通道是共享的，因此，不会增加很多训练参数。
6.根据权利要求1或5所述的基于用户长短时期兴趣建模的点击率预测方法,其特征在于步骤(3)所述的兴趣激活单元把用户短期兴趣爱好、用户长期兴趣爱好及兴趣爱好偏移特征关联目标物品，具体实现如下：
3-1.在进行点击率预测时，如果目标物品符合用户短期兴趣爱好，那么用户短期兴趣爱好对此次点击事件产生很大的影响；否则用户短期兴趣爱好对用户此次点击事件没有任何干扰；因此说明短期兴趣爱好需要关联相应的目标物品才能有效挖掘出用户最终的短期兴趣爱好表示向量
Figure FDA0002387593680000045
利用兴趣激活单元动态分配短期爱好矩阵中每个单元向量的权重；利用兴趣激活单元来计算权重具体公式如下：
Figure FDA0002387593680000046
其中，
Figure FDA0002387593680000047
表示关联目标物品和用户短期兴趣爱好的可学习交互矩阵，d表示经过嵌入层之后，物品最终向量维度，
Figure FDA0002387593680000048
表示物品v的嵌入向量表示，
Figure FDA0002387593680000049
表示在时刻t用户u的短期兴趣爱好矩阵
Figure FDA00023875936800000410
中的第i行向量；用户长期爱好关联目标物品之后的表示结果
Figure FDA00023875936800000411
计算如下：
Figure FDA00023875936800000412
其中，
Figure FDA00023875936800000413
表示关联用户长期兴趣爱好和目标物品的可学习交互矩阵，
Figure FDA00023875936800000414
表示在时刻t用户u的长期兴趣爱好矩阵
Figure FDA00023875936800000415
中的第i行向量；用户兴趣迁移变化特征关联目标物品之后的表示向量
Figure FDA00023875936800000416
如下面公式所述：
Figure FDA0002387593680000051
其中，
Figure FDA0002387593680000052
表示关联目标物品和用户兴趣迁移变化的可学***化，接着输入到多层感知机实现评分预测。
7.根据权利要求6所述的基于用户长短时期兴趣建模的点击率预测方法,其特征在于步骤(4)连接用户长期爱好、短期爱好及兴趣爱好偏移特征，接着把连接之后的特征向量送入到DNN中训练获取最终的一个点击概率p(x)；对应的损失函数如下
Figure FDA0002387593680000055
其中x表示所有特征向量连接，D表示训练集，N表示训练集的个数，y∈{0,1}表示用户是否会点击此物品，并且p(.)是网络模型最终的预测结果值，它表示用户点击此物品概率。
CN202010103305.0A 2020-02-19 2020-02-19 一种基于用户长短时期兴趣建模的点击率预测方法 Pending CN111369278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103305.0A CN111369278A (zh) 2020-02-19 2020-02-19 一种基于用户长短时期兴趣建模的点击率预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103305.0A CN111369278A (zh) 2020-02-19 2020-02-19 一种基于用户长短时期兴趣建模的点击率预测方法

Publications (1)

Publication Number Publication Date
CN111369278A true CN111369278A (zh) 2020-07-03

Family

ID=71210975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103305.0A Pending CN111369278A (zh) 2020-02-19 2020-02-19 一种基于用户长短时期兴趣建模的点击率预测方法

Country Status (1)

Country Link
CN (1) CN111369278A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814051A (zh) * 2020-07-08 2020-10-23 北京奇艺世纪科技有限公司 一种资源类型确定方法及装置
CN112084450A (zh) * 2020-09-09 2020-12-15 长沙理工大学 基于卷积注意力网络深度会话序列的点击率预测方法及***
CN112182387A (zh) * 2020-09-29 2021-01-05 中国人民大学 一种时间信息增强的个性化搜索算法
CN112381615A (zh) * 2020-11-27 2021-02-19 华中科技大学 基于用户重复行为模式挖掘的短序列推荐方法
CN112492396A (zh) * 2020-12-08 2021-03-12 中国计量大学 一种基于细粒度的多方面分析的短视频点击率预测方法
CN112700274A (zh) * 2020-12-29 2021-04-23 华南理工大学 一种基于用户偏好的广告点击率预估方法
CN112733030A (zh) * 2021-01-13 2021-04-30 重庆邮电大学 一种用户兴趣偏好捕获方法
CN113468434A (zh) * 2021-09-06 2021-10-01 北京搜狐新动力信息技术有限公司 资源推荐方法、装置、可读介质以及设备
CN114329193A (zh) * 2021-12-24 2022-04-12 重庆大学 基于时间感知兴趣演化的点击率预测方法
CN115048586A (zh) * 2022-08-11 2022-09-13 广东工业大学 一种融合多特征的新闻推荐方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830416A (zh) * 2018-06-13 2018-11-16 四川大学 基于用户行为的广告点击率预测框架及算法
CN109960759A (zh) * 2019-03-22 2019-07-02 中山大学 基于深度神经网络的推荐***点击率预测方法
CN110659742A (zh) * 2019-09-10 2020-01-07 阿里巴巴集团控股有限公司 获取用户行为序列的序列表示向量的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830416A (zh) * 2018-06-13 2018-11-16 四川大学 基于用户行为的广告点击率预测框架及算法
CN109960759A (zh) * 2019-03-22 2019-07-02 中山大学 基于深度神经网络的推荐***点击率预测方法
CN110659742A (zh) * 2019-09-10 2020-01-07 阿里巴巴集团控股有限公司 获取用户行为序列的序列表示向量的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI PI 等: "Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction", 《ARXIV E-PRINTS》 *
SHUAI ZHANG 等: "Next Item Recommendation with Self-Attention", 《ARXIV E-PRINTS》 *
YUFEI FENG 等: "Deep Session Interest Network for Click-Through Rate Prediction", 《ARXIV E-PRINTS》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814051B (zh) * 2020-07-08 2023-07-28 北京奇艺世纪科技有限公司 一种资源类型确定方法及装置
CN111814051A (zh) * 2020-07-08 2020-10-23 北京奇艺世纪科技有限公司 一种资源类型确定方法及装置
CN112084450A (zh) * 2020-09-09 2020-12-15 长沙理工大学 基于卷积注意力网络深度会话序列的点击率预测方法及***
CN112182387A (zh) * 2020-09-29 2021-01-05 中国人民大学 一种时间信息增强的个性化搜索算法
CN112182387B (zh) * 2020-09-29 2023-08-25 中国人民大学 一种时间信息增强的个性化搜索方法
CN112381615A (zh) * 2020-11-27 2021-02-19 华中科技大学 基于用户重复行为模式挖掘的短序列推荐方法
CN112492396A (zh) * 2020-12-08 2021-03-12 中国计量大学 一种基于细粒度的多方面分析的短视频点击率预测方法
CN112700274A (zh) * 2020-12-29 2021-04-23 华南理工大学 一种基于用户偏好的广告点击率预估方法
CN112733030A (zh) * 2021-01-13 2021-04-30 重庆邮电大学 一种用户兴趣偏好捕获方法
CN113468434B (zh) * 2021-09-06 2021-12-24 北京搜狐新动力信息技术有限公司 资源推荐方法、装置、可读介质以及设备
CN113468434A (zh) * 2021-09-06 2021-10-01 北京搜狐新动力信息技术有限公司 资源推荐方法、装置、可读介质以及设备
CN114329193A (zh) * 2021-12-24 2022-04-12 重庆大学 基于时间感知兴趣演化的点击率预测方法
CN115048586A (zh) * 2022-08-11 2022-09-13 广东工业大学 一种融合多特征的新闻推荐方法及***
CN115048586B (zh) * 2022-08-11 2023-02-21 广东工业大学 一种融合多特征的新闻推荐方法及***

Similar Documents

Publication Publication Date Title
CN111369278A (zh) 一种基于用户长短时期兴趣建模的点击率预测方法
Casalicchio et al. Visualizing the feature importance for black box models
CN108647251B (zh) 基于宽深度门循环联合模型的推荐排序方法
CN111191092B (zh) 标签确定方法和标签确定模型训练方法
US20230153857A1 (en) Recommendation model training method, recommendation method, apparatus, and computer-readable medium
CN111046294A (zh) 点击率预测方法、推荐方法、模型、装置及设备
CN106202519A (zh) 一种结合用户评论内容和评分的项目推荐方法
CN109087178A (zh) 商品推荐方法和装置
CN113177141B (zh) 基于语义嵌入软相似性的多标签视频哈希检索方法及设备
CN104281718A (zh) 一种基于用户群体行为数据挖掘智能推荐的方法
CN112749330B (zh) 信息推送方法、装置、计算机设备和存储介质
CN111177579A (zh) 一种集成多样性增强的极深因子分解机模型及其构建方法和应用
CN109063104A (zh) 推荐信息的刷新方法、装置、存储介质和终端设备
Wang et al. Multi-scale graph attention subspace clustering network
CN107203558A (zh) 对象推荐方法和装置、推荐信息处理方法和装置
CN110110372A (zh) 一种用户时序行为自动切分预测方法
Wang et al. What is wrong with deep knowledge tracing? Attention-based knowledge tracing
CN116764236A (zh) 游戏道具推荐方法、装置、计算机设备和存储介质
van Nee et al. Fast marginal likelihood estimation of penalties for group-adaptive elastic net
CN112150206B (zh) 用户感兴趣物品的预测方法及设备
CN113688306A (zh) 一种基于强化学习的推荐策略生成方法及装置
CN116634008A (zh) 信息推送方法、装置、计算机设备和存储介质
CN113377973B (zh) 一种基于对抗哈希的物品推荐方法
CN115048530A (zh) 融合邻居重要度和特征学习的图卷积推荐***
CN116932862A (zh) 冷启动对象推荐方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication