CN109960759A - 基于深度神经网络的推荐***点击率预测方法 - Google Patents

Abstract

本发明公开一种基于深度神经网络的推荐***点击率预测方法，包括采集用户点击行为作为样本，提取样本的具有数值大小关系的数值特征输入GBDT树模型训练，得到GBDT叶节点矩阵E1；将样本中由所有用户点击物品构成的行为序列输入Attention网络，得到样本中所有用户对物品的兴趣强度矩阵E2；对用户点击交互的物品特征向量进行求和平均，得到用户对应的点击交互矩阵E3，拼接E1、E2和E3，输入具有三层隐藏层和一层输出层的深度神经网络模型输出预测结果。本发明将用户点击行为分解属性特征，将GBDT树模型、Attention网络与深度神经网络模型非线性拟合，构造推荐***点击率预测模型，模型训练得到预测结果，本方法深度挖掘用户的近期兴趣，泛化程度高且扩展性强。

Description

基于深度神经网络的推荐***点击率预测方法

技术领域

本发明涉及信息推荐***领域，特别涉及一种基于深度神经网络的推荐***点击率预测方法。

背景技术

随着信息技术和互联网行业的发展，信息过载成了人们处理信息的挑战。对于用户而言，如何在以指数增长的资源中快速、准确地定位到自己需要的内容是一个非常重要且极具挑战的事情。对于商家而言，如何把恰当的物品及时呈现给用户，从而促进交易量和经济增长，也是一件颇具难度的事情。推荐***的诞生极大地缓解了这个困难。

推荐***是一种信息过滤***，主要利用户画像、物品信息以及用户的搜索、点击、收藏等行为数据，为用户推荐其可能感兴趣的物品。其中，物品的点击率是衡量用户对物品喜好程度的重要指标。推荐***需要设计模型算法去预测用户对物品的点击率，并将物品按所预测的点击率大小排序，选取点击率最大的K个物品推荐给用户。因此，在推荐***中点击率预估(CTR)是一个非常重要的任务，点击率的准确预估有利于提高推荐***的性能以及带来最大化的商业收益。

推荐***能够利用的数据主要来源于用户画像、物品信息以及用户行为，然而在实际应用场景中，这些数据往往是离散型的类别数据。举个例子，形如：[时间＝周三,性别＝男，城市＝北京]这样的离散数据，我们通常会使用onehot编码处理成高维稀疏的二值特征，由于模型所需要处理的数据绝大部分是高维的稀疏特征，这对于传统的机器学习模型带来了一定的挑战。使用线性的逻辑回归模型进行点击率预测，虽然线性模型具有简单、可解释性强、可大规模并行训练等优点，但是线性模型无法自动学习到高阶的交叉特征，模型的效果太过依赖于人工的特征工程，在面对高维、多领域的稀疏特征时，人工的特征工程很难发现强有力的高阶特征。考虑到线性模型本身的限制，一些能够自动做特征组合的非线性模型也应用到了CTR预估中，如梯度提升决策树模型(GBDT)和因子分解机模型(FM)。利用GBDT模型发现强特征并进行特征组合，做法是将决策树的叶节点输出作为LR的特征输入，这是早期特征组合的思路，但是GBDT在大规模的稀疏id数据上效果不佳。提出的FM模型很好的解决了稀疏数据特征组合的问题，很大程度的降低了计算复杂度，但是模型局限于仅考虑了二阶特征的交叉，无法得到更高阶的特征组合。可见，传统的机器学习模型做ctr预估会存在几点问题：

(1)依赖于大量的人工特征

(2)很难得到高阶的交叉特征

(3)对于高维的稀疏id数据，泛化能力不够，

近来，深度神经网络(DNN)被应用到了分类和回归的任务中，在计算机视觉、自然语言处理等领域都有不错的表现。由于深度神经网络能够自动地进行高阶特征组合，具有更强的模型表现力，DNN也被成功地应用到CTR预估任务中。Wide&Deep模型尝试将DNN与LR模型结合共同训练模型参数，同时考虑到了低阶特征与高阶特征，但是LR模型部分需要比较复杂的数据预处理。另外，还有一些基于CNN和RNN的CTR预测模型，CNN模型局限于在相邻特征间做特征组合，相比之下RNN更适用于有顺序的点击数据，但是两者都侧重于高阶交叉特征的提取，忽略了一些有用的低阶特征构造。DeepFM相当于将Wide&Deep中的LR模型优化为FM模型，从而构造了一个端到端的点击率预测模型。虽然DeepFM模型已成为CTR预估的主流模型，但是在实际应用中发现，DeepFM的可扩展性不够。在推荐任务中还有部分重要的连续特征，有时还是会需要进行少量的特征工程，比如统计用户最近几天的点击次数、用户点击时间的差分等等，如果直接将连续特征输入到神经网络模型中，不但需要进行复杂的归一化，也不能对预测起到很好的效果。

发明内容

本发明的主要目的是基于推荐***点击率预测模型提出了一种基于深度神经网络的推荐***点击率预测方法，旨在克服以上问题。

为实现上述目的，本发明提出的一种基于深度神经网络的推荐***点击率预测方法，包括如下步骤：

S10采集用户的点击行为作为样本，点击行为包括用户ID、点击时间t、被点击的物品id，根据用户ID拼接对应用户的属性特征，物品id拼接对应物品的属性特征，提取属性特征中具有数值大小关系的数值特征，输入GBDT树模型训练，得到GBDT叶节点矩阵E1；将样本中由所有用户点击物品构成的行为序列输入Attention网络，得到样本中所有用户对物品的兴趣强度矩阵E2；对用户点击交互的物品特征向量进行求和平均，得到用户对应的点击交互矩阵E3；

S20将GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3进行拼接，输入深度神经网络模型，其中深度神经网络模型具有三层隐藏层和一层输出层；

S30设置深度神经网络模型第一层的神经元个数为1024，设置其第二的神经元个数为512，设置其第三层神经元个数为256，隐藏层的激活函数使用ReLU作为激活函数，公式如下：

a^(l+1)＝ReLU(W^(l+1)a^(l)+b^(l+1))

a^(l)表示第l层的输出，同时也是第l+1层的输入，b^(l+1)表示第l层的偏置，W^(l+1)表示第l+1层的权重矩阵，输出层使用Sigmoid为激活函数，公式如下；

H表示隐藏层的层数，a^(H)是第H层的输出，w^(H+1)和b^(H+1)都是输出层中待求的参数，是模型的最终预测值，

模型的损失函数使用负对数似然函数：

S是训练集样本，x是神经网络的输入，y∈(0,1)是样本的真实标签，p(x)是神经网络的输出预测值，输出预测值。

优选地，所述GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3的列数均相同，所述GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3的拼接为纵向拼接。

优选地，所述不同用户点击不同物品构成的行为序列包括用户历史行为序列和召回物品的向量，使用召回物品向量激活与之相关的用户行为序列，计算得到用户对该物品的兴趣强度矩阵2，计算公式如下：

其中，{e₁...e_H}是用户的行为序列，v_A是物品A的表示向量，a(·，·)是前向神经网络的激活函数，W_j是神经网络中的参数，通过网络计算物品A与用户各行为之间的相关性权重，最后输出用户行为序列加权求和之后的结果，作为用户的兴趣强度向量，所有用户的兴趣强度向量组成用户对该物品的兴趣强度矩阵2。

本发明将用户点击行为分解属性特征，将GBDT树模型、Attention网络与深度神经网络模型非线性拟合，构造推荐***点击率预测模型，模型训练得到预测结果，本方法深度挖掘用户的近期兴趣，泛化程度高且扩展性强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为推荐***点击率预测模型架构一实施例的结构示意图；

图2为所述Attention网络结构图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明考虑将GBDT模型与深度神经网络相结合，构造一个非线性拟合能力强、泛化能力高且可扩展的推荐***点击率预测模型，基于推荐***点击率预测模型提出了一种基于深度神经网络的推荐***点击率预测方法，该模型架构如图1所示，该模型包括三大部分：

1.输入部分

在点击率预估场景中，特征可以分为类别特征和数值特征，类别特征在物理含义上是不存在大小关系的如用户性别：男或者女，而数值特征是存在大小关系的如用户年龄。使用样本中的数值特征单独训练一个GBDT树模型，GBDT树模型会将每个样本分到叶子结点上，当一个样本通过某棵树最终落在这棵树的一个叶子结点上，那么在新特征向量中这个叶子结点对应的元素值为1，而这棵树的其他叶子结点对应的元素值为0，比如GBDT树的叶子结点数量为5，样本1被分到了第2个叶子结点上，在样本1对应的向量为[0,1,0,0,0],以此方式所有样本能够得到对应的新特征向量。新特征向量进行纵向拼接后得到特征矩阵E1。这部分的设计主要是因为GBDT树模型更擅长于处理数值特征，将连续性的数值特征重新编码成离散化的叶节点，方便进行神经网络的训练，且这部分可以加入人工提取的特征，是模型可扩展性的体现。

对于用户的行为特征，如曝光、点击、收藏等行为，使用不同行为所交互的物品id按行为产生的时间顺序构成用户的行为序列。将这些用户的行为序列输入到Attention网络中，为每个用户计算一个固定长度的用户兴趣特征，所有用户的兴趣特征拼接后得到特征矩阵E2。

对于物品特征，一个物品由于可以具有多种不同类别属性，我们使用onehot编码，用1表示有该属性，0表示无该属性，那么也可以得到每个物品对应的一维0/1的物品向量。对于一个用户而言，在一段时间内可能会和多个物品产生点击行为，所以，将有和该用户产生点击交互的物品特征向量进行求和平均，平均之后，每个用户对应一维的物品特征向量，所有用户的物品向量经过拼接得到特征矩阵E3。

E1,E2,E2进行拼接后，输入到深度神经网络模型中。

2.Attention网络部分

Attention网络机制源于当人们注意到某个目标或某个场景时，该目标内部以及该场景内每一处空间位置上的注意力分布是不一样的。引申到用户行为上，用户每次对物品的点击行为只会与行为序列中若干个行为有关。Attention的结构如图2所示，将用户历史行为序列和召回物品的向量输入进Attention网络中，使用召回物品向量激活与之相关的用户行为序列，计算用户对该物品的兴趣强度特征。

表达式为：

其中，{e₁...e_H}是用户的行为序列，v_A是物品A的表示向量，a(·，·)是前向神经网络的激活函数，W_j是神经网络中的参数，通过网络计算物品A与用户各行为之间的相关性权重，最后输出用户行为序列加权求和之后的结果，作为用户的兴趣向量。

3.深度神经网络部分

深度神经网络(DNN)设计为三层隐藏层结构，每层的神经元个数分别为1024、512、256。隐藏层的激活函数使用ReLU作为激活函数，每层隐藏层的输出为：

a^(l+1)＝ReLU(W^(l+1)a^(l)+b^(l+1))

a^(l)表示第l层的输出，同时也是第l+1层的输入，b^(l+1)表示第l层的偏置，W^(l+1)表示第l+1层的权重矩阵。最后通过一个Sigmoid为激活函数的输出层，输出用户对候选物品的点击概率，也就是预测结果，表达式为：

H表示隐藏层的层数，a^(H)是第H层的输出，w^(H+1)和b^(H+1)都是输出层中待求的参数，是模型的最终预测值。

模型的损失函数使用负对数似然函数：

S是训练集样本，x是神经网络的输入，y∈(0,1)是样本的真实标签，p(x)是神经网络的输出预测值。

生成预测模型实操步骤：

S1:连续型数值特征作为输入训练一个GBDT树模型；

S2：S1中的GBDT树模型输出叶节点向量记为特征向量v1；

S3:用户历史行为序列和召回物品的向量输入进Attent i on网络中，使用召回物品向量激活与之相关的用户行为序列，计算得到用户对该物品的兴趣强度特征，记为V2；

S4：其余的物品特征以用户作为分组，每组中的物品特征向量进行算术平均，得到的一个用户对应一个特征向量的形式，此类特征记为v3；

S5:v1、v2、v3按用户进行向量拼接，并输入到三层结构的神经网络模型中；

S6：设置神经网络每层的神经元个数分别为1024、512、256，每层隐藏层使用ReLU作为激活函数，输出层使用Sigmoid函数，输出层最终输出模型的预测结果。

本发明将用户点击行为分解属性特征，将GBDT树模型、Attention网络与深度神经网络模型非线性拟合，构造推荐***点击率预测模型，模型训练得到预测结果，本方法深度挖掘用户的近期兴趣，泛化程度高且扩展性强。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (3)

1.一种基于深度神经网络的推荐***点击率预测方法，其特征在于，包括如下步骤：

S10采集用户的点击行为作为样本，点击行为包括用户ID、点击时间t、被点击的物品id，根据用户ID拼接对应用户的属性特征，物品id拼接对应物品的属性特征，提取属性特征中具有数值大小关系的数值特征，输入GBDT树模型训练，得到GBDT叶节点矩阵E1；将样本中由所有用户点击物品构成的行为序列输入Attention网络，得到样本中所有用户对物品的兴趣强度矩阵E2；对用户点击交互的物品特征向量进行求和平均，得到用户对应的点击交互矩阵E3；

S20将GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3进行拼接，输入深度神经网络模型，其中深度神经网络模型具有三层隐藏层和一层输出层；

S30设置深度神经网络模型第一层的神经元个数为1024，设置其第二的神经元个数为512，设置其第三层神经元个数为256，隐藏层的激活函数使用ReLU作为激活函数，公式如下：

a^(l+1)＝ReLU(W^(l+1)a^(l)+b^(l+1))

a^(l)表示第l层的输出，同时也是第l+1层的输入，b^(l+1)表示第l层的偏置，W^(l+1)表示第l+1层的权重矩阵，输出层使用Sigmoid为激活函数，公式如下；

H表示隐藏层的层数，a^(H)是第H层的输出，w^(H+1)和b^(H+1)都是输出层中待求的参数，是模型的最终预测值，

模型的损失函数使用负对数似然函数：

S是训练集样本，x是神经网络的输入，y∈(0,1)是样本的真实标签，p(x)是神经网络的输出预测值，输出预测值。

2.如权利要求1所述的基于深度神经网络的推荐***点击率预测方法，其特征在于，所述GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3的列数均相同，所述GBDT叶节点矩阵E1、兴趣强度矩阵E2和点击交互矩阵E3的拼接为纵向拼接。

3.如权利要求1所述的基于深度神经网络的推荐***点击率预测方法，其特征在于，所述不同用户点击不同物品构成的行为序列包括用户历史行为序列和召回物品的向量，使用召回物品向量激活与之相关的用户行为序列，计算得到用户对该物品的兴趣强度矩阵2，计算公式如下：

其中，{e₁...e_H}是用户的行为序列，v_A是物品A的表示向量，a(·，·)是前向神经网络的激活函数，W_j是神经网络中的参数，通过网络计算物品A与用户各行为之间的相关性权重，最后输出用户行为序列加权求和之后的结果，作为用户的兴趣强度向量，所有用户的兴趣强度向量组成用户对该物品的兴趣强度矩阵2。