CN116049544A - 一种全局因子分解的多特征融合网络兴趣预测方法 - Google Patents

Abstract

本发明公开了一种全局因子分解的多特征融合网络兴趣预测方法，包括以下步骤：S1：采集用户文本信息和项目文本信息，并生成嵌入层特征矩阵；S2：生成用户全局特征和项目全局特征；S3：计算再分配的嵌入层特征矩阵；S4：对再分配的嵌入层特征矩阵进行混合交互，得到交互特征向量；S5：将交互特征向量和嵌入层特征矩阵进行拼接，得到融合向量；S6：将融合向量作为深度神经网络的输入，训练深度神经网络，并利用训练后的深度神经网络获取兴趣预测值。本发明提出的多特征融合网络兴趣预测方法考虑到了全局特征和高低阶的交互，增加了特征的全局意识，增大了重要特征的权重并缩小了不重要特征的权重；提升了模型在兴趣预测任务上的精度。

Description

一种全局因子分解的多特征融合网络兴趣预测方法

技术领域

本发明属于兴趣预测技术领域，具体涉及一种全局因子分解的多特征融合网络兴趣预测方法。

背景技术

在信息超载的时代，一个有效的推荐***不仅可以促进用户的信息寻求过程，还可以为公司提高客户忠诚度，增加公司的利润。兴趣预测作为推荐***的最重要的任务之一，它可以估计用户点击推荐项目的概率，并决定该项目是否会推荐给用户。因此，兴趣预测的准确性是影响用户体验和平台收益的关键因素。

目前，已有推荐***方法分为三大类：一是协同过滤方法，利用用户和项目的交互数据；二是内容推荐方法，极大限度的利用用户和项目相关的内容；三是序列推荐方法，挖掘与用户行为相关的上下文信息。这些方法的最终目的都是向用户推荐其感兴趣的内容。推荐***关键是推荐内容是否准确，是否符合用户的要求。

发明内容

本发明的目的是为了解决当下研究缺少全局特征交互意识的问题，提出了一种全局因子分解的多特征融合网络兴趣预测方法。

本发明的技术方案是：一种全局因子分解的多特征融合网络兴趣预测方法包括以下步骤：

S1：采集用户文本信息和项目文本信息，并生成嵌入层特征矩阵；

S2：根据嵌入层特征矩阵，生成用户全局特征和项目全局特征；

S3：根据用户全局特征、项目全局特征和嵌入层特征矩阵，计算再分配的嵌入层特征矩阵；

S4：对再分配的嵌入层特征矩阵进行混合交互，得到交互特征向量；

S5：将交互特征向量和嵌入层特征矩阵进行拼接，得到融合向量；

S6：将融合向量作为深度神经网络的输入，训练深度神经网络，并利用训练后的深度神经网络获取兴趣预测值。

本发明的有益效果是：本发明提出的多特征融合网络兴趣预测方法考虑到了全局特征和高低阶的交互，增加了特征的全局意识，增大了重要特征的权重并缩小了不重要特征的权重；提升了模型在兴趣预测任务上的精度。

进一步地，步骤S1中，嵌入层特征矩阵E包括用户的特征嵌入向量U和项目的特征嵌入向量I，其表达式为：

E＝[U,I]＝[e₁,e₂,...,e_m，..,e_m+n]

式中，e₁,...,e_m表示m个用户嵌入特征，e_m+1,...,e_m+n表示m+n个项目嵌入特征。

进一步地，步骤S2中，用户全局特征U_g和项目全局特征I_g的表达式分别为：

式中，e_i表示第i个用户嵌入特征，e_j表示第j个项目嵌入特征。

进一步地，步骤S3包括以下子步骤：

S31：将用户全局特征和项目全局特征作为嵌入层的输入，计算嵌入层特征矩阵的均值；

S32：根据嵌入层特征矩阵的均值，计算嵌入层特征矩阵的权重向量；

S33：根据嵌入层特征矩阵的权重向量，计算再分配的嵌入层特征矩阵。

进一步地，步骤S31中，嵌入层特征矩阵的均值z_i的计算公式为：

式中，e_i表示第i个用户嵌入特征，k表示每个特征的嵌入维度；

步骤S32中，嵌入层特征矩阵的权重向量A的计算公式为：

A＝σ₂(W₂σ₁(W₁Z))

式中，Z表示嵌入层特征矩阵的均值向量，σ₁(·)表示第一激活函数，σ₂(·)表示第二激活函数，W₁表示第一学习参数，W₂表示第二学习参数；

步骤S33中，再分配的嵌入层特征矩阵V的计算公式为：

V＝[a₁·e₁,…,a_p·e_p]＝[v₁,…,v_p}

式中，E表示嵌入层特征矩阵，a₁,…,a_p表示权重因子，e₁,…,e_p表示嵌入特征，v₁,…,v_p表示再分配的嵌入层特征向量。

进一步地，步骤S4中，交互特征向量p_ij的计算公式为：

p_ij＝v_i·W⊙v_j

式中，v₁,…,v_j表示再分配的嵌入层特征向量，W表示参数矩阵。

进一步地，步骤S6中，深度神经网络的损失函数Logloss的表达式为：

式中，N表示训练集大小，y_h表示训练样本h的标签，

表示深度神经网络的输出。

附图说明

图1为多特征融合网络兴趣预测方法的流程图；

图2为类别特征嵌入示意图；

图3为压缩激励网络示意图；

图4特征交互计算方式示意图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种全局因子分解的多特征融合网络兴趣预测方法，包括以下步骤：

S1：采集用户文本信息和项目文本信息，并生成嵌入层特征矩阵；

S2：根据嵌入层特征矩阵，生成用户全局特征和项目全局特征；

S3：根据用户全局特征、项目全局特征和嵌入层特征矩阵，计算再分配的嵌入层特征矩阵；

S4：对再分配的嵌入层特征矩阵进行混合交互，得到交互特征向量；

S5：将交互特征向量和嵌入层特征矩阵进行拼接，得到融合向量；

S6：将融合向量作为深度神经网络的输入，训练深度神经网络，并利用训练后的深度神经网络获取兴趣预测值。

本发明通过增加用户全局特征和项目全局特征以达到扩展嵌入层特征的目的，通过拼接宽度模块的显性特征交互输入和深度模块的特征嵌入，提出了基于全局因子分解的多特征融合网络，更加全面挖掘有效的特征交互信息，提高兴趣预测的精度。

增加了用户全局特征和项目全局特征来丰富嵌入层的特征，通过增加了全局特征来提高特征交互的全局意识，不仅仅是增加全局特征，也可以增加局部特征来改进模型性能。局部特征可以是在不同推荐类应用中起到关键作用的部分特征。其次，融合了宽度模型和深度模型的信息，宽度模型的信息输入是在原始的嵌入特征(包括全局特征)基础上通过压缩激励网络动态分配特征权值后采用向量的混合交互方式获取，深度模型的信息将原始嵌入特征(不包括全局特征)作为输入，然后将宽度模型的信息和深度模型信息拼接后送入多层感知机来挖掘其交互作用。最后，将全局因子分解层(宽度模型)的输出和多层感知机的最后一层输出通过逻辑回归的方法做预测。

在本发明实施例中，步骤S1中，嵌入层特征矩阵E包括用户的特征嵌入向量U和项目的特征嵌入向量I，其表达式为：

E＝[U,I]＝[e₁,e₂,...,e_m，..,e_m+n]

式中，e₁,...,e_m表示m个用户嵌入特征，e_m+1,...,e_m+n表示m+n个项目嵌入特征。

用户特征和项目特征通过相应的文本信息获得。在从文本信息获取用户特征和项目特征的过程中，数据具有稀疏性和高维性属性，即在一个特征向量中有多个零因子，且数量大于非零因子。同时，所获得的用户特征和项目特征在时间和空间上关联性较弱，故引入特征嵌入层将这些特征数据映射为一个低维且稠密的特征向量。

具体而言，用一个低维向量表示嵌入层特征，即：

e_i＝V_ix_i

其中，V_i是稀疏输入特征x_i的嵌入矩阵，x_i可用独热码或多独热码向量表示。

图2为稀疏输入特征和稀疏特征嵌入的整体过程。用户特征在经过嵌入层后构成了用户的特征嵌入向量为U＝[e₁,e₂,...,e_m]，项目的特征嵌入向量为I＝[e_m+1,e_m+2,...,e_m+n]。。因此，嵌入层的特征矩阵是一个包括项目和用户特征的特征矩阵E＝[U,I]＝[e₁,e₂,...,e_m，..,e_m+n]。

在本发明实施例中，步骤S2中，在推荐领域中，为了增加特征交互的全局意识，增加用户全局特征和项目全局特征。用户全局特征U_g和项目全局特征I_g的表达式分别为：

式中，e_i表示第i个用户嵌入特征，e_j表示第j个项目嵌入特征。

为了避免特征乘积产生极小的值，采用最大最小值法将用户全局特征和项目全局特征归一化到[0,1]范围内，即：

U_gf＝(U_g-min(U_g))/(max(U_g)-min(U_g))

I_gf＝(I_g-min(U_g))/(max(I_g)-min(I_g))

当获得归一化的用户全局特征和项目全局特征后，用户全局特征、项目全局特征和嵌入层特征组合成特征矩阵，并利用全局因子分解获取一阶显示特征和二阶显示特征的交互，从而获取用户对不同项目特征的相关度，相关度的值越大，表明用户对该项目特征的关注度越高。

因此，全局因子分解机模型包含将一阶线性特征交互和二阶线性特征交互，其数学表达式为：

其中，w∈R^d和V_i∈R^k。<w,x>反映了一阶线性特征，

代表了2阶线性特征交互的影响。

在本发明实施例中，步骤S3包括以下子步骤：

S31：将用户全局特征和项目全局特征作为嵌入层的输入，计算嵌入层特征矩阵的均值；

S32：根据嵌入层特征矩阵的均值，计算嵌入层特征矩阵的权重向量；

S33：根据嵌入层特征矩阵的权重向量，计算再分配的嵌入层特征矩阵。

在本发明实施例中，步骤S31中，嵌入层特征矩阵的均值z_i的计算公式为：

式中，F_sq(·)表示z_i的函数表达，e_i表示第i个用户嵌入特征，k表示每个特征的嵌入维度；

步骤S32中，嵌入层特征矩阵的权重向量A的计算公式为：

A＝F_ex(Z)＝σ₂(W₂σ₁(W₁Z))

式中，F_ex(·)表示A的函数表达，Z表示嵌入层特征矩阵的均值向量，σ₁(·)表示第一激活函数，σ₂(·)表示第二激活函数，W₁表示第一学习参数，W₂表示第二学习参数；

步骤S33中，再分配的嵌入层特征矩阵V的计算公式为：

V＝F_ReWeight(A,E)＝[a₁·e₁,…,a_p·e_p]＝[v₁,…,v_p]

式中，F_ReWeight(·)表示V的函数表达，E表示嵌入层特征矩阵，a₁,…,a_p表示权重因子，e₁,…,e_p表示嵌入特征，v₁,…,v_p表示再分配的嵌入层特征向量。

在推荐领域，不同的推荐任务关注两个要点，一个是特征的丰富度，丰富度指的是不仅仅包括了数据的单个类别的特征，同时也包括了其组合特征，也就是说，除了关注特征的多少之外，还要挖掘特征之间的内在关联；另一个是如何为更重要的特征分配更高的权重。因此采用为动态的分配特征的权值方式。

当引入了用户全局特征和项目全局特征后，就引入了用户和项目的全局意识。因为没有考虑到加入这样的全局特征而导致了一些模型次优的性能。所以，引入全局特征来改善模型的表达能力。

为特征矩阵动态分配权值的具体过程如下：除了原始的类别特征，增加了用户全局特征和项目全局特征作为嵌入层的输入。然后通过压缩激励网络层动态分配特征矩阵中权重，获得与输入大小相同的特征矩阵，该矩阵是一个再分配特征矩阵，为不同的特征分配了不同的权值。

如图3所示，压缩激励网络分为挤压、激励和再分配三个部分。首先通过挤压，将嵌入层特征和交叉特征进行特征汇总，该特征包含信息的压缩。信息的压缩可以通过求最大值，最小值或均值来完成，即假设特征矩阵E＝[e₁,e₂,...,e_h]，通过求均值的方法来获得其包含的信息，公式

中，这里采用特征的均值z_i是因为均值能够包含该特征的整体信息。其次是激励部分，即通过全连接层以获取一个m维的权重向量，表示每个特征的权值。计算过程中采用Relu作为激活函数。最后是再分配部分,即将获得的权重通过特征嵌入的比例进行放大之后以乘积的方式获得新的嵌入特征向量，完成了特征权重的动态分配。

在本发明实施例中，步骤S4中，交互特征向量p_ij的计算公式为：

p_ij＝v_i·W⊙v_j

式中，v₁,…,v_j表示再分配的嵌入层特征向量，W表示参数矩阵。

如图4所示。特征显式交互采用内积交互和哈达玛积交互相结合的混合交互。

混合交互从本质上说是隐***互的方式，但是它又有显性和隐***互的结合。所以，采用的是混合交互的方式来同时结合显性和隐性特征交互。具体而言，内积交互表示为：

R_x＝{(i,j)}_{i∈{1,…,p},j∈{1,…,p},j>i}

其中，v_i为第i个特征域的嵌入向量，·为内积。

哈达玛积交互表示为：

R_x＝{(i,j)}_{i∈{1,…,p},j∈{1,…,p},j>i}

其中，v_i为第i个特征域的嵌入向量，

为哈达玛积。

混合交互表示为：

p_ij＝v_i·W⊙v_j

其中，W∈R^k×k，v_i，v_j∈R^k，1≤i≤m，1≤j≤m v_i，v_j分别表示类别特征的嵌入向量。W∈R^k×k是所有类别特征嵌入的参数，即，W∈R^k×k是一个参数矩阵。

特征组合层将通过压缩激励网络得到的再分配特征，通过混合交互获取到的交互特征向量P＝[p₁,p₂,...,p_k]和通过嵌入层映射获取的特征向量嵌入层的特征矩阵Q＝E＝[U,I]＝[e₁,e₂,...,e_m，..,e_m+n]做拼接。最终的融合向量G＝[P,Q]＝[g₁,g₂,...,g_k+s]。

在本发明实施例中，步骤S6中，深度神经网络的损失函数Logloss的表达式为：

式中，N表示训练集大小，y_h表示训练样本h的标签，

表示深度神经网络的输出。

深度网络是一个前馈神经网络，用于学习隐性的高阶特征交互。将拼接后的交互特征向量输入到神经网络中。深度网络表达为如下形式：

z₁＝σ₁(W₁f(G₁)+b₁)

z₂＝σ₂(W₂z₁+b₂)

……

z_l＝σ_l(W_lz_l-1+b_l)

其中，l为隐藏层数，W_l、b_l和σ_l分别为第l层的参数矩阵、偏差向量和激活函数。通过指定非线性激活函数，比如Sigmoid、Tanh和Relu激活函数，该网络通过非线性的方式学习高阶隐性特征相互作用。隐性的高阶交互可以学习特征之间的隐式关联，提高模型的泛化能力。而且，可以很容易的调节网络的深度和网络层的大小来调优模型的性能。

然后是深层和浅层网络的组合。深层网络和浅层网络的组合在保证模型的泛化性的同时保证模型的记忆性。浅层网络即全局因子分解的部分，深层网络即结合了压缩激励网络和深度网络的部分，通过拼接这两个网络的输出获得最终的兴趣预测值。

综上，提出的模型的输出的总体公式为：

其中，Y_e表示深度模型的输出，Y_i表示宽度模型的输出，σ是sigmoid型函数。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种全局因子分解的多特征融合网络兴趣预测方法，其特征在于，包括以下步骤：

S1：采集用户文本信息和项目文本信息，并生成嵌入层特征矩阵；

S2：根据嵌入层特征矩阵，生成用户全局特征和项目全局特征；

S3：根据用户全局特征、项目全局特征和嵌入层特征矩阵，计算再分配的嵌入层特征矩阵；

S4：对再分配的嵌入层特征矩阵进行混合交互，得到交互特征向量；

S5：将交互特征向量和嵌入层特征矩阵进行拼接，得到融合向量；

S6：将融合向量作为深度神经网络的输入，训练深度神经网络，并利用训练后的深度神经网络获取兴趣预测值。

2.根据权利要求1所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S1中，嵌入层特征矩阵E包括用户的特征嵌入向量U和项目的特征嵌入向量I，其表达式为：

E＝[U,I]＝[e₁,e₂,...,e_m，..,e_m+n]

式中，e₁,...,e_m表示m个用户嵌入特征，e_m+1,...,e_m+n表示m+n个项目嵌入特征。

3.根据权利要求1所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S2中，用户全局特征U_g和项目全局特征I_g的表达式分别为：

式中，e_i表示第i个用户嵌入特征，e_j表示第j个项目嵌入特征。

4.根据权利要求1所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S3包括以下子步骤：

S31：将用户全局特征和项目全局特征作为嵌入层的输入，计算嵌入层特征矩阵的均值；

S32：根据嵌入层特征矩阵的均值，计算嵌入层特征矩阵的权重向量；

S33：根据嵌入层特征矩阵的权重向量，计算再分配的嵌入层特征矩阵。

5.根据权利要求4所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S31中，嵌入层特征矩阵的均值z_i的计算公式为：

式中，e_i表示第i个用户嵌入特征，k表示每个特征的嵌入维度；

所述步骤S32中，嵌入层特征矩阵的权重向量A的计算公式为：

A＝σ₂(W₂σ₁(W₁Z))

式中，Z表示嵌入层特征矩阵的均值向量，σ₁(·)表示第一激活函数，σ₂(·)表示第二激活函数，W₁表示第一学习参数，W₂表示第二学习参数；

所述步骤S33中，再分配的嵌入层特征矩阵V的计算公式为：

V＝[a₁·e₁,…,a_p·e_p]＝[v₁,…,v_p]

式中，E表示嵌入层特征矩阵，a₁,…,a_p表示权重因子，e₁,…,e_p表示嵌入特征，v₁,…,v_p表示再分配的嵌入层特征向量。

6.根据权利要求1所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S4中，交互特征向量p_ij的计算公式为：

p_ij＝v_i·W⊙v_j

式中，v₁,…,v_j表示再分配的嵌入层特征向量，W表示参数矩阵。

7.根据权利要求1所述的全局因子分解的多特征融合网络兴趣预测方法，其特征在于，所述步骤S6中，深度神经网络的损失函数Logloss的表达式为：

式中，N表示训练集大小，y_h表示训练样本h的标签，

表示深度神经网络的输出。

Images