CN109460427A - 一种面向用户动态偏好挖掘的节目嵌入方法 - Google Patents

Abstract

本发明涉及一种面向用户动态偏好挖掘的节目嵌入方法，包括：读入点击行为序列集S；将点击节目表示为低维向量，并初始化输入特征向量和输出特征向量；然后使用训练样本集对节目特征向量进行优化；结合用户当前时刻的上下文节目的输入特征向量，刻画用户当前时刻的兴趣。本发明通过使用改进的词嵌入模型将节目特征进行降维，舍弃了以往完全使用时间作为用户偏好变化影响因子的做法，而采用行为窗口对目标节目进行建模，有效的避免了用户行为在固定的时间区间上可能存在的稀疏性，并且通过最大化条件概率是的学习到的节目向量表示能够有效地刻画用户偏好，克服了现有方法存在的不足和局限性。且学到的向量表示是稠密低维的。

Description

一种面向用户动态偏好挖掘的节目嵌入方法

技术领域

本发明涉及一种数据挖掘技术领域，尤其是一种面向用户动态偏好挖掘的节目嵌入方法。

背景技术

随着信息技术的迅速发展，各大互联网网站在与用户互动的过程中均产生了大量的用户日志信息，因此，企业家们倾向于有效的利用用户信息，对用户数据进行挖掘理解，并针对不同用户的兴趣进行个性化的推荐。然而，如何针对不同用户的兴趣进行个性化的推荐面临着巨大的挑战。首先，用户的兴趣受多种因素影响，且不同用户的兴趣不一样。其次，单个用户在不同时间的兴趣也是不同的。

现有的刻画用户动态兴趣的方法主要基于时间动态性。其中最常见的两种模式：1、假设用户的兴趣偏好受近期行为的影响远大于远期行为的影响，并使用一个衰减的影响因子来减少对旧数据的权重。2、用户偏好由用户本身的兴趣(长期兴趣)和社会热点(短期偏好)共同影响，并结合长期行为和短期行为共同刻画用户的动态偏好。然而，这些方法仍然存在着以下问题：

1)、数据高维度，需要构建用户-节目矩阵，然而在大型在线网站中存在着大量的用户和节目，因此构建矩阵时很可能导致维度灾难；

2)、高度稀疏，大多数用户往往只点击了少量的节目，因此用户-节目的矩阵一般是高度稀疏的；

3)、相似度度量，如何度量节目之间的相似度以及用户之间的相似度？因为矩阵是高度稀疏的，因此难以度量彼此间的相似度；

4)、固定的时间区间，人为的分割时间区间，并将每一个区间的用户行为当作该区间的一个短期偏好，然而用户的行为在时间上并不总是均匀的，因此，同样存在着时间区间数据稀疏性的问题。

发明内容

针对现有技术的不足，本发明提供一种面向用户动态偏好挖掘的节目嵌入方法，该方法能有效刻画用户偏好存在的主要难点。

本发明的技术方案为：一种面向用户动态偏好挖掘的节目嵌入方法，包括：

S1)、读入点击行为序列集S；

S2)、将点击节目表示为低维向量，并初始化输入特征向量和输出特征向量，特征向量的维度大小由用户指定；其中，每个节目包括一个输入特征向量和一个输出特征向量；

S3)、根据序列集S构建训练样本集；

S4)、然后使用训练样本集对节目特征向量进行优化；

S5)、输出优化后的节目输入和输出特征向量表示；

S6)、结合用户当前时刻的上下文节目的输入特征向量，刻画用户当前时刻的兴趣。

进一步的，步骤S4)中，对节目特征向量进行优化，具体为：首先利用将每个点击行为序列当成一个“句子”，然后遍历每一个“句子”构建训练样本集，并通过每一个训练样本调整节目向量，使得最大化条件概率P(目标节目|上下文节目)。

本发明的有益效果为：通过使用改进的词嵌入模型将节目特征进行降维，舍弃了以往完全使用时间作为用户偏好变化影响因子的做法，而采用行为窗口(即一个行为窗口中包含若干个行为)对目标节目进行建模，有效的避免了用户行为在固定的时间区间上可能存在的稀疏性，并且通过最大化条件概率是的学习到的节目向量表示能够有效地刻画用户偏好，克服了现有方法存在的不足和局限性。且学到的向量表示是稠密低维的，解决了用户兴趣挖掘中存在的高维度和高度稀疏问题。学习到的向量保留了每个节目之间的结构特征，可以直接计算节点之间的相似度，从而解决了相似度度量的问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，一种面向用户动态偏好挖掘的节目嵌入方法，包括以下步骤：

S1)、读入点击行为序列集S；

S2)、将点击节目表示为低维向量，并初始化输入特征向量和输出特征向量，特征向量的维度大小由用户指定；其中，每个节目包括一个输入特征向量和一个输出特征向量；

S3)、根据序列集S构建训练样本集，构建过程具体如下：

S301)、初始化正样本集合D⁺和负样本集合D^-；

S302)、对行为序列集S中的每个序列s_i，依次取出一个节目作为目标节目t_i；

S303)、根据目标节目t_i使用滑动窗口向前回溯w个节目作为上下文；

S304)、对于上下文中的每个节目t_j与目标节目t_i构建三元组(t_j,t_i,1)，并添加到正样本集合D⁺中；

S305)、重复步骤S302)-S304)，直至处理完行为序列集S中的每个系列；

S306)、从上述步骤生产的正样本集合D⁺中，依次取出一个三元组，记为(t_j,t_i,1)；

S307)、对于每个三元组(t_j,t_i,1)，从节目集T中随机采样N个节目，其中N为负样个数，由用户指定，抽取的每个节目t_r与t_j组成一个三元组(t_j,t_r,1)作为(t_j,t_i,1)对应的负样本，并将其添加到负样本集合D^-中；

S308)、重复步骤S306)、S307)，直至处理完正样本集合D⁺中的每个三元组；

S309)、合并正样本集合D⁺和负样本集合D^-，和并后得到的集合D即为训练样本集；

S4)、然后使用训练集对节目特征向量进行优化，同时调整目标节目向量及其上下文节目的输入特征向量，最大化条件概率P(目标节目|上下文节目)，具体如下：

S401)、条件概率P(目标节目|上下文节目)的计算式如下：

其中，ψ_j为节目t_j的输入特征向量，φ_i为节目t_i的输出特征向量，为ψ_j的转置，φ_k∈φ为t_k的输出特征向量，其分母为一个归一化项；

通过采用负采样将上式转换为：该式表示最大化正样本的条件概率同时最小化负样本的条件概率，其中，μ表示节目t_i是否为节目t_j的正样本，μ＝1则表示目t_i为节目t_j的正样本，若μ＝-1则表示目t_i为节目t_j的负样本，为sigmoid函数；

从而得到目标函数为：

其中L为损失函数；

S402)、对于每一个训练样本(t_j,t_i,μ)∈D，使用随机梯度下降对φ_i和ψ_j进行更新，首先计算目标函数关于φ_i和ψ_j的梯度和其计算式如下：

并根据公式进行更新，其中，η为学习率，由用户指定；

S5)、输出优化后的节目输入和输出特征向量表示：

S6)、结合用户当前时刻的上下文节目的输入特征向量，刻画用户当前时刻的兴趣，具体如下：

利用当前时刻的上下文，刻画用户在当前时刻的兴趣，即

为了计算方便，对其进行相应的变换，得到：计算每个t_i∈T的概率，并进行排序，最后得到概率最高的N个节目作为用户在当前时刻的兴趣，其中，N的大小由用户指定。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种面向用户动态偏好挖掘的节目嵌入方法，其特征在于，包括以下步骤：

S1)、读入点击行为序列集S；

S2)、将点击节目表示为低维向量，并初始化输入特征向量和输出特征向量，特征向量的维度大小由用户指定；其中，每个节目包括一个输入特征向量和一个输出特征向量；

S3)、根据序列集S构建训练样本集；

S4)、然后使用训练样本集对节目特征向量进行优化；

S5)、输出优化后的节目输入和输出特征向量表示；

S6)、结合用户当前时刻的上下文节目的输入特征向量，刻画用户当前时刻的兴趣。

2.根据权利要求1所述的一种面向用户动态偏好挖掘的节目嵌入方法，其特征在于：步骤S3)中，构建训练样本集，具体包括以下步骤：

S301)、初始化正样本集合D⁺和负样本集合D^-；

S302)、对行为序列集S中的每个序列s_i，依次取出一个节目作为目标节目t_i；

S303)、根据目标节目t_i使用滑动窗口向前回溯w个节目作为上下文；

S304)、对于上下文中的每个节目t_j与目标节目t_i构建三元组(t_j,t_i,1)，并添加到正样本集合D⁺中；

S305)、重复步骤S302)-S304)，直至处理完行为序列集S中的每个系列；

S306)、从上述步骤生产的正样本集合D⁺中，依次取出一个三元组，记为(t_j,t_i,1)；

S307)、对于每个三元组(t_j,t_i,1)，从节目集T中随机采样N个节目，其中N为负样个数，由用户指定，抽取的每个节目t_r与t_j组成一个三元组(t_j,t_r,1)作为(t_j,t_i,1)对应的负样本，并将其添加到负样本集合D^-中；

S308)、重复步骤S306)、S307)，直至处理完正样本集合D⁺中的每个三元组；

S309)、合并正样本集合D⁺和负样本集合D^-，和并后得到的集合D即为训练样本集。

3.根据权利要求1所述的一种面向用户动态偏好挖掘的节目嵌入方法，其特征在于：步骤S4)中，对节目特征向量进行优化，具体为：首先利用将每个点击行为序列当成一个“句子”，然后遍历每一个“句子”构建训练样本集，并通过每一个训练样本调整节目向量，使得最大化条件概率P(目标节目|上下文节目)。

4.根据权利要求1所述的一种面向用户动态偏好挖掘的节目嵌入方法，其特征在于：步骤S4)中，最大化条件概率P(目标节目|上下文节目)的计算，具体如下：

S401)、条件概率P(目标节目|上下文节目)的计算式如下：

其中，ψ_j为节目t_j的输入特征向量，φ_i为节目t_i的输出特征向量，为ψ_j的转置，φ_k∈φ为t_k的输出特征向量，其分母为一个归一化项；

通过采用负采样将上式转换为：该式表示最大化正样本的条件概率同时最小化负样本的条件概率，其中，μ表示节目t_i是否为节目t_j的正样本，μ＝1则表示目t_i为节目t_j的正样本，若μ＝-1则表示目t_i为节目t_j的负样本，为sigmoid函数；

从而得到目标函数为：

其中L为损失函数；

S402)、对于每一个训练样本(t_j,t_i,μ)∈D，使用随机梯度下降对φ_i和ψ_j进行更新，首先计算目标函数关于φ_i和ψ_j的梯度和其计算式如下：

并根据公式进行更新，其中，η为学习率。

5.根据权利要求1所述的一种面向用户动态偏好挖掘的节目嵌入方法，其特征在于：步骤S6)中，刻画用户当前时刻的兴趣，具体如下：

利用当前时刻的上下文，刻画用户在当前时刻的兴趣，即

为了计算方便，对其进行相应的变换，得到：计算每个t_i∈T的概率，并进行排序，最后得到概率最高的N个节目作为用户在当前时刻的兴趣，其中，N的大小由用户指定。