CN110609948A - 一种基于多层次注意力机制和场感知分解机的推荐方法 - Google Patents

Abstract

本发明公开了一种基于多层次注意力机制和场感知分解机的推荐方法，包括以下步骤：S1对样本的特征分域处理；S2将域内所有特征的值乘以特征对应的隐向量集，将特征的表示向量集输入到域内注意力神经网络中，进行加权求和；S3不同域的表示向量集之间作二阶交互，输入到域间注意力神经网络中，进行加权求和，得到输出值；S4使用训练集数据对前馈神经网络进行训练；S5使对候选集中所有物品，利用步骤S1和S2，得到物品域的表示向量；S6获取用户和上下文特征，计算其域的表示向量，与步骤S5的表示向量拼接，输入前馈神经网络中，得到预测点击率，向用户推荐排名靠前的物品。本发明使用的多层级注意力机制，有效提升模型的精度。

Description

一种基于多层次注意力机制和场感知分解机的推荐方法

技术领域

本发明涉及互联网应用技术，尤其涉及一种基于多层次注意力机制和场感知分解机的推荐方法。

背景技术

随着互联网行业的快速发展，海量在线内容(新闻、商品等)涌现出来。如何在海量内容中向用户推 荐其最感兴趣的内容就成为了一个极为重要的问题。以手机中的新闻应用为例，在以往，新闻应用仅仅单 纯地根据编辑的筛选、推荐，向用户展示固定的新闻，用户只能通过订制不同类型的新闻等手段来选择自 己感兴趣的新闻，需要消耗大量时间，用户体验不佳。同样地，对于在线商品，用户只能通过品类筛选或 者直接搜索来寻找自己感兴趣的商品，这个过程往往也需要耗费许多时间。因此推荐***应运而生。在新 型的应用推荐***的新闻应用中，推荐***根据已有的用户特征、新闻特征和上下文特征等，在侯选库中 寻找用户最可能感兴趣的新闻，然后向用户推荐这些新闻。由于***综合考量了多种不同的特征，尤其是 用户特征，因此向用户推荐的新闻相当于量身定制，从而极大地减少了用户获取感兴趣新闻所需的时间， 有效提升了用户体验。

已有的推荐***采用的方法有许多，比如使用逻辑斯蒂回归，对输入样例的特征计算其被用户点击的 概率。但是逻辑斯蒂回归模型较为简单，仅仅对输入的每个特征赋予一定的权重并求和，难以捕捉特征之 间的高阶交互，此时可以使用手工特征工程来弥补逻辑斯蒂回归的这一缺陷，但是需寻找有效的特征交互 往往需要消耗大量的时间和精力。因此有方案使用因子分解机来克服这个问题。因子分解机的特性在于， 它会针对每一个输入特征，学习一个对应的隐向量，交互特征的权重值为隐向量的内积。因子分解机能够 自动捕捉输入特征之间的二阶交互，免去一定程度的手工特征工程，因此在实际工程中使用极为广泛。同 时也有方案提出使用场感知分解机来进行推荐。场感知分解机的特性在于，它在因子分解机的基础上，将 输入特征划分为不同的域，某个特征跟不同域的其它特征作交互时，使用不同的隐向量，而非单一的一个 隐向量。但场感知因子分解机存在的问题是其对于不同域之间的重要性未作区分，全部输入特征视作同等 重要。同时以上方法均未区分不同特征或二阶交互特征的重要程度。

发明内容

本发明旨在克服已有方法的不足和缺陷，提出一种新的基于多层次注意力机制和场感知分解机的推荐 方法，提升推荐效果和精度。

为了达到上述目的，本发明采用以下技术方案。

基于多层次注意力机制和场感知分解机的推荐方法，包括以下步骤：

S1、对包含用户、物品和上下文等特征以及标签的训练样本的特征进行分域处理；

S2、构建前馈神经网络，该网络将域内所有特征值乘以特征对应的隐向量集，得到特征的表示向量集， 将特征的表示向量集输入到域内注意力神经网络中，得到域内各表示向量集的注意力分布权重，根据域内 各表示向量集的注意力分布权重对域内特征的表示向量集进行加权求和，得到域的表示向量集；

S3、构建前馈神经网络，该网络将不同域的表示向量集之间作二阶交互，形成二阶交互向量集，二阶 交互向量集的向量输入到域间注意力神经网络中，得到二阶交互向量间的注意力分布权重，根据二阶交互 向量间的注意力分布权重对二阶交互向量进行加权求和，得到最终输出值，即预测点击率；

S4、使用训练集数据对步骤S2和步骤S3所述前馈神经网络进行训练，得到点击率预测模型；

S5、对候选集中所有物品，利用步骤S1和步骤S2进行处理，得到预计算的物品域的表示向量集；

S6、对于每一次用户请求，获取用户和上下文特征，使用步骤S1和步骤S2分别计算其域的表示向量 集，然后与步骤S5所述物品域的表示向量集拼接，将拼接结果输入步骤S3所述前馈神经网络中，得到候 选集物品的预测点击率，并据此对候选集中的物品进行排序，向用户推荐排名靠前的物品。

进一步的，所述的步骤S1是将样本中的特征，按照其类型进行分域处理，具体为：

对于类别类型的特征，将其进行独热编码，划分为单独一个域；

对于数值类型特征，进行分箱离散化操作转化为类别特征，再进行独热编码，得到包含f个域和n个特 征的特征向量x＝(x₁，x₂，...，x_n)。

进一步的，所述域内注意力神经网络和域间注意力神经网络均包括多层感知机(Multilayer Perceptron，MLP)。

进一步的，所述的步骤S2具体为：

对于域f_t，t∈1...f，设其包含m个特征，域内第一个特征为x_i，则其包含的特征为(x_i，x_i+1，...，x_i+m)， 其中每一个特征对应的隐向量集u_i是f-1个长度为k的隐向量u_i，o，向量编号为o∈1...f，o≠t，即 u_i＝(u_i，1，u_i，2，...，u_i，t-1，u_i，t+1，...，u_i，o，...，u_i，f)，计算x_i·u_i，得到特征的表示向量集，将得到的f个表示向量集 输入域内注意力神经网络中，得到域内各表示向量集的注意力分布权重计算域 f_t的表示向量集 为域f_t在与不同域o交互时使用的向量，其中：

对f个域进行相同操作，得到了f个域的表示向量集v＝(v₁，v₂，...，v_ft，...v_f)，v_f为域表示向量。

进一步的，所述的步骤S3具体为：对于域f_t，其与其它域o的二阶交互向量w_i，计算如下：

其中，⊙为按元素相乘，为域o在与不同域f_t交互时使用的向量，c为二阶交互特征的数量，将二 阶交互向量集的向量输入到由域间注意力神经网络中，输出二阶交互向量的注意力权重分布a_i，i∈1...c， 计算最终的预测点击率：

其中p是长度为k的向量。

进一步的，所述的步骤S4具体为：对训练集中的所有样本作步骤S1处理，将处理后的样本输入步骤 S2和步骤S3所述前馈神经网络，计算输出的对数损失：

其中y是样本的标签。计算得到损失后对损失进行反向传播，使用随机梯度下降算法更新包括参数p在内的 点击率预测模型参数。。

进一步的，所述的步骤S5具体为：

设样本H包含f个域(f₁，f₂，...，f_d，...，f_e，...，f_f)，其中(f₁...f_d-1)包含用户特征，(f_d，f_d+1，...，f_e)包含物品 特征，(f_e+1，...，f_f)包含上下文特征，遍历候选集的所有物品，获取物品特征，对物品特征进行步骤S1，得 到包含编号为f_t∈d，d+1，...，e的域的特征向量集，将该特征向量集输入步骤S2所述前馈神经网络中，得 到v⁽¹⁾＝(v_d，v_d+1，...，v_e)，将结果保存于缓存中。

进一步的，所述的步骤S6具体为：

对于每一次用户请求，获取用户特征以及上下文特征，使用步骤S1对用户特征和上下文特征进行处 理，分别得到用户特征向量以及上下文特征向量，将用户特征向量以及上下文特征向量输入步骤S2所述 前馈神经网络中，得到包含编号为1...d-1以及e+1...f的域的表示向量集，即v⁽²⁾＝(v₁，v₂，...，v_d-1)和 v⁽³⁾＝(v_e+1，v_e+2，...，v_f)，其中v_d-1和v_f均为域表示向量，遍历步骤S5所述缓存结果，将v⁽¹⁾、v⁽²⁾和v⁽³⁾三 者进行拼接，得到f个域的表示向量集v＝(v₁，v₂，...v_f)，将该表示向量集输入步骤S3所述前馈神经网络中， 得到候选集物品的预测点击率，取预测点击率最高的m个物品，返回给用户。

本发明相对于现有技术具有如下的优点及效果：

1、本发明使用的基于域内和域间两种层级的注意力机制，可以有效提升模型的精度。

2、本发明可以得到域内特征和二阶交互特征的注意力分布权重，有效提升了模型的可解释性。

3、本发明对候选集物品特征进行预计算处理，仅用户、上下文等特征需要实时处理，有效提升推荐响应 速度。

附图说明

图1是实施例中一种基于多层次注意力机制和场感知分解机的推荐方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明 实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。

如图1所示的一种基于多层次注意力机制和场感知分解机的推荐方法，包括以下步骤：

S1、对包含用户、物品和上下文等特征以及标签的训练样本的特征进行分域处理；

步骤S1的具体实施方式为：将样本中的特征，按照其类型进行分域处理。对于类别类型

步骤S2的具体实施方式为：对于域f_t，t∈1...f，设其包含m个特征，域内第一个特征为x_i，则其包 含的特征为(x_i，x_i+1，...，x_i+m)，其中每一个特征对应的隐向量集是f-1个长度为16的隐向量，向量编号为 o∈1...f，o≠t，即ui＝(u_i，1，u_i，2，...，u_i，t-1，u_i，t+1，...，u_i，o，...，u_i，f)。计算x_i·u_i得到特征的表示向量集，将得 到的f个表示向量集输入到多层感知机(Multilayer Perceptron)构成的域内注意力神经网络中，得到 域内各表示向量集的注意力分布权重计算域f_t的表示向量集 为域f_t的表示向量，其中：

对f个域进行相同操作，得到了f个域的表示向量集v＝(v₁，v₂，...，v_ft，...v_f)，v_f为域表示向量。

S3、构建前馈神经网络。该网络将不同域的表示向量集之间作二阶交互，形成二阶交互向量集，二阶交互 向量集的向量输入到由多层感知机构成的域间注意力神经网络中，得到二阶交互向量间的注意力分布权重， 根据二阶交互向量间的注意力分布权重对二阶交互向量进行加权求和，得到最终输出值，即预测点击率；

步骤S3的具体实施方式为：对于域f_t，其与其它域o的二阶交互向量w_i，计算如下：

其中，⊙为按元素相乘，c为二阶交互特征的数量，将二阶交互向量集的向量输入到由多层感知机构 成的域间注意力神经网络中，输出二阶交互向量的注意力权重分布a_i，i∈1...c，计算最终的预测点击率：

其中p是长度为16的向量。

S4、使用训练集数据对步骤S2和步骤S3所述前馈神经网络进行训练，得到点击率预测模型；

步骤S4的具体实施方式为：对训练集中的所有样本作步骤S1处理，将处理后的样本输入步骤S2和 步骤S3所述前馈神经网络，计算输出的对数损失：

其中y是样本的标签。计算得到损失后对损失进行反向传播，使用随机梯度下降算法更新包括参数p在内的 点击率预测模型参数。

S5、使对候选集中所有物品，通过步骤S1和步骤S2的处理，得到预计算的物品域的表示向量集。

步骤S5的具体实施方式为：设样本H包含f个域(f₁，f₂，...，f_d，...，f_e，...，f_f)，其中(f₁...f_d-1)包含用户特 征，(f_d，f_d+1，...，f_e)包含物品特征，(f_e+1，...，f_f)包含上下文特征。遍历候选集的所有物品，获取物品特征， 对物品特征进行步骤S1，得到包含编号为f_t∈d，d+1，...，e的域的特征向量集。将该特征向量集输入步骤 S2所述前馈神经网络中，得到v⁽¹⁾＝(v_d，v_d+1，...，v_e)，将结果保存于缓存中。

S6、对于每一次用户请求，获取用户和上下文特征，使用步骤S1和步骤S2分别计算其域的表示向量 集，然后与步骤S5所述物品域的表示向量集拼接，将拼接结果输入步骤S3所述前馈神经网络中，得到候 选集物品的预测点击率，并据此对候选集中的物品进行排序，向用户推荐排名靠前的物品。

步骤S6的具体实施方式为：对于每一次用户请求，获取用户特征以及上下文特征，使用步骤S1对用 户特征和上下文特征进行处理，分别得到用户特征向量以及上下文特征向量，将用户特征向量以及上下文 特征向量输入步骤S2所述前馈神经网络中，得到包含编号为1...d-1以及e+1...f的域的表示向量集， 即v⁽²⁾＝(v₁，v₂，...，v_d-1)和v⁽³⁾＝(v_e+1，v_e+2，...，v_f)，其中v_d-1和v_f均为域表示向量；遍历步骤S5所述缓 存结果，将v⁽¹⁾、v⁽²⁾和v⁽³⁾三者进行拼接，得到f个域的表示向量集v＝(v₁，v₂，...v_f)，将该表示向量集输 入步骤S3所述前馈神经网络中，得到候选集物品的预测点击率，取预测点击率最高的15个物品，返回给用户。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未 背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含 在本发明的保护范围之内。

Claims (8)

1.一种基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的推荐方法包括以下步骤：

S1、对包含用户、物品、上下文特征以及标签的训练样本的特征进行分域处理；

S2、构建前馈神经网络，该网络将域内所有特征值乘以特征对应的隐向量集，得到特征的表示向量集，将特征的表示向量集输入到域内注意力神经网络中，得到域内各表示向量集的注意力分布权重，根据域内各表示向量集的注意力分布权重对特征的表示向量集进行加权求和，得到域的表示向量集；

S3、构建前馈神经网络，该网络将不同域的表示向量集之间作二阶交互，形成二阶交互向量集，把二阶交互向量集的向量输入到域间注意力神经网络中，得到二阶交互向量间的注意力分布权重，根据二阶交互向量间的注意力分布权重对二阶交互向量进行加权求和，得到最终输出值，即预测点击率；

S4、使用训练集数据对步骤S2和步骤S3所述前馈神经网络进行训练，得到点击率预测模型；

S5、对候选集中所有物品，利用步骤S1和步骤S2进行处理，得到预计算的物品域的表示向量集；

S6、对于每一次用户请求，获取用户和上下文特征，使用步骤S1和步骤S2分别计算其域的表示向量集，然后与步骤S5所述物品域的表示向量集拼接，将拼接结果输入步骤S3所述前馈神经网络中，得到候选集物品的预测点击率，并据此对候选集中的物品进行排序，向用户推荐排名靠前的物品。

2.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S1是将样本中的特征，按照其类型进行分域处理，具体为：

对于类别类型的特征，将其进行独热编码，划分为单独一个域；

对于数值类型特征，进行分箱离散化操作转化为类别特征，再进行独热编码，得到包含f个域和n个特征的特征向量x＝(x₁，x₂，...，x_n)。

3.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述域内注意力神经网络和域间注意力神经网络均包括多层感知机。

4.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S2具体为：

对于域f_t，t∈1...f，设其包含m个特征，域内第一个特征为x_i，则其包含的特征为(x_i，x_i+1，...，x_i+m)，其中，每一个特征对应的隐向量集u_i是f-1个长度为k的隐向量u_i，o，向量编号为o∈1...f，o≠t，即u_i＝(u_i，1，u_i，2，...，u_i，t-1，u_i，t+1，...，u_i，o，...，u_i，f)，计算x_i·u_i，得到特征的表示向量集，将得到的f个表示向量集输入域内注意力神经网络中，得到域内各表示向量集的注意力分布权重计算域f_t的表示向量集 为域f_t在与不同域o交互时使用的向量，其中：

对f个域进行相同操作，得到了f个域的表示向量集v_f为域表示向量。

5.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S3具体为：对于域f_t，与不同域o的二阶交互向量w_i，计算如下：

其中，⊙为按元素相乘，为域o在与不同域f_t交互时使用的向量，c为二阶交互特征的数量，将二阶交互向量集的向量输入到域间注意力神经网络中，输出二阶交互向量的注意力权重分布a_i，i∈1...c，计算最终的预测点击率

其中p是长度为k的向量。

6.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S4具体为：对训练集中的所有样本作步骤S1处理，将处理后的样本输入步骤S2和步骤S3所述前馈神经网络，计算输出对数损失

其中y是样本的标签；计算得到损失后，对损失进行反向传播，使用随机梯度下降算法更新包括p在内的点击率预测模型参数。

7.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S5具体为：

设样本H包含f个域(f₁，f₂，...，f_d，...，f_e，...，f_f)，其中(f₁...f_d-1)包含用户特征，(f_d，f_d+1，...，f_e)包含物品特征，(f_e+1，...，f_f)包含上下文特征，遍历候选集的所有物品，获取物品特征，对物品特征进行步骤S1，得到包含编号为f_t∈d，d+1，...，e的域的特征向量集，将该特征向量集输入步骤S2所述前馈神经网络中，得到域的表示向量集v⁽¹⁾＝(v_d，v_d+1，...，v_e)，v_e为该域表示向量，将结果保存于缓存中。

8.根据权利要求1所述的基于多层次注意力机制和场感知分解机的推荐方法，其特征在于，所述的步骤S6具体为：

对于每一次用户请求，获取用户特征以及上下文特征，使用步骤S1对用户特征和上下文特征进行处理，分别得到用户特征向量以及上下文特征向量，将用户特征向量以及上下文特征向量输入步骤S2所述前馈神经网络中，得到包含编号为1～d-1以及e+1～f的域的表示向量集，即v⁽²⁾＝(v₁，v₂，...，v_d-1)和v⁽³⁾＝(v_e+1，v_e+2，...，v_f)，其中v_d-1和v_f均为域表示向量，遍历步骤S5所述缓存结果，将v⁽¹⁾、v⁽²⁾和v⁽³⁾三者进行拼接，得到f个域的表示向量集v＝(v₁，v₂，...v_f)，将该表示向量集输入步骤S3所述前馈神经网络中，得到候选集物品的预测点击率，取预测点击率最高的m个物品，返回给用户。