CN111221896A - 用户行为预测方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种用户行为预测方法，涉及大数据技术领域。该方法包括：获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量；依次地，根据第i‑1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i长短时记忆向量，其中i∈[2,N‑1]；根据第N‑1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第N特征向量输入长短时记忆网络模型，得到输出向量；根据输出向量确定待预测用户的行为预测结果。本公开可以挖掘用户行为的长期特征与变化趋势，提高用户行为预测的准确率。

Description

用户行为预测方法及装置、电子设备、存储介质

技术领域

本公开涉及大数据技术领域，尤其涉及一种用户行为预测方法、用户行为预测装置、电子设备及计算机可读存储介质。

背景技术

随着大数据技术的发展，越来越多的企业致力于通过大数据分析来预测用户的行为与需求，从而提供更好的服务，以吸引更多的用户。

现有的用户行为预测方法多数是从用户的历史数据中提取特征，通过分析这些特征得到用户的行为预测结果。其中，提取哪些特征依赖于数据分析人员的经验，因此特征的有效性难以保证；且采用的历史数据较多是近期数据，无法反映用户行为的长期特征以及行为习惯的变化趋势；以上两点不足都将导致用户行为预测的准确率较低，影响实际应用的效果。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种用户行为预测方法、用户行为预测装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服现有的用户行为预测方法准确率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种用户行为预测方法，包括：获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量；依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量，其中i∈[2,N-1]；根据第N-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第N特征向量输入所述长短时记忆网络模型，得到输出向量；根据所述输出向量确定所述待预测用户的行为预测结果。

在本公开的一种示例性实施例中，所述获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量包括：按照短周期依次统计待预测用户在最近N个长周期内的O种行为数据，每个长周期包括M个短周期；将所述行为数据转换为具有先后顺序的N个M*O维特征向量。

在本公开的一种示例性实施例中，所述长短时记忆网络模型至少包括：输入层，包括M*O个神经元，用于输入所述M*O维特征向量；第一全连接层，包括P个神经元，用于将所述特征向量转换为P维的第一中间向量；长短时记忆层，包括Q个神经元，用于根据所述初始记忆状态将所述第一中间向量转换为Q维的长短时记忆向量，所述Q个神经元中任意两个神经元相连接；第二全连接层，包括R个神经元，用于将所述长短时记忆向量转换为R维的第二中间向量；输出层，包括S个神经元，用于将所述第二中间向量转换为S维的输出向量。

在本公开的一种示例性实施例中，所述长短时记忆层为前向长短时记忆层，所述长短时记忆向量为前向长短时记忆向量，所述初始记忆状态为前向初始记忆状态；所述长短时记忆网络模型还包括：后向长短时记忆层，包括T个神经元，用于根据后向初始记忆状态将所述前向长短时记忆向量转换为T维的后向长短时记忆向量，所述T个神经元中任意两个神经元相连接；则所述第二全连接层用于将所述后向长短时记忆向量转换为所述第二中间向量；所述将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量包括：将第一特征向量输入一长短时记忆网络模型，得到第一前向长短时记忆向量；所述依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量包括：依次地，分别根据第i-1前向长短时记忆向量与第i-1后向长短时记忆向量更新所述长短时记忆网络模型的前向初始记忆状态与后向初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i前向长短时记忆向量与第i后向长短时记忆向量。

在本公开的一种示例性实施例中，S＝M+1。

在本公开的一种示例性实施例中，所述第一全连接层与第二全连接层为ReLu(Rectified Linear Unit，线性修正单元)激活层；所述输出层为Softmax(归一化指数函数)激活层。

在本公开的一种示例性实施例中，所述将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量包括：将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量与第一输出向量；

所述依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量包括：依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量与第i输出向量，其中i∈[2,N-1]；

所述方法还包括：依次根据所述第i特征向量确定第i真实向量H_i，并将所述第i真实向量H_i与第i-1输出向量G_i-1进行匹配；如果满足以下条件(1)，则判定本次用户行为预测无效：

其中，K为匹配阈值；如果不满足所述条件(1)，则执行根据所述输出向量确定所述待预测用户的行为预测结果的步骤，其中所述输出向量为第N输出向量。

根据本公开的一个方面，提供一种用户行为预测装置，包括：数据获取模块，用于获取待预测用户在N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；模型分析模块，用于将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量，依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量，以及根据第N-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第N特征向量输入所述长短时记忆网络模型，得到输出向量，其中i∈[2,N-1]；结果输出模块，用于根据所述输出向量确定所述待预测用户的行为预测结果。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

本公开的示例性实施例具有以下有益效果：

获取待预测用户在最近N个长周期内的行为数据，并转换为特征向量后，依次利用长短时记忆网络模型对其进行处理，并同步更新长短时记忆网络模型的初始记忆状态，最终得到第N特征向量对应的输出向量，根据该输出向量确定待预测用户的行为预测结果。一方面，通过采集用户N个长周期的行为数据，并通过长短时记忆网络模型按照时间先后顺序对其依次分析，可以挖掘用户行为的长期特征与变化趋势，从而能够更加准确的对用户行为进行预测；另一方面，长短时记忆网络模型是一种特殊的神经网络模型，可以从机器维度对特征向量的数据进行特征提取，从而避免了人工提取特征的局限性，提高用户行为预测的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本示例性实施例中一种用户行为预测方法的流程图；

图2示意性示出本示例性实施例中一种长短时记忆网络模型的示意图；

图3示意性示出本示例性实施例中一种长短时记忆层的示意图；

图4示意性示出本示例性实施例中另一种长短时记忆网络模型的示意图；

图5示意性示出本示例性实施例中另一种用户行为预测方法的流程图；

图6示意性示出本示例性实施例中一种用户行为预测装置的结构框图；

图7示意性示出本示例性实施例中一种用于实现上述方法的电子设备；

图8示意性示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

本公开的示例性实施例首先提供了一种用户行为预测方法。其中，用户行为预测是指预测用户在未来一定的时间内做出或不做出某种行为，或者作出某种行为的程度，例如预测用户在未来一周内是否领取优惠券以及领取的次数，或者预测用户在未来三天内是否登录客户端程序以及登录的时间等。

参考图1所示，该用户行为预测方法可以包括步骤S110～S150：

步骤S110，获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量。

本示例性实施例中，长周期可以是用户行为预测的时间周期，例如预测未来一周的用户行为，长周期可以是一周，在步骤S110中可以统计待预测用户最近N周的行为数据。每个长周期的行为数据可以转换为一个特征向量，例如可以统计每个长周期内的多种行为数据，并按照一定的顺序排列为特征向量，或者将每个长周期内的行为数据按照时间顺序排列为特征向量等。每个长周期的行为数据应当按照同一规则转换为形式相同、维度相同的特征向量，按照N个长周期的时间先后顺序，可以对N个特征向量进行编号，最早的长周期对应的特征向量为第一特征向量，最近的长周期对应的特征向量为第N特征向量。N可以是任意的正整数，N的数值越大，所获取的待预测用户的行为数据越充分，越有利于后续进行准确预测，但同时也需要考虑行为数据获取的难易程度以及后续的运算量，可以根据实际情况，综合上述因素以设定N的数值。

步骤S120，将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量。

长短时记忆网络模型是指采用长短时记忆层作为循环中间层的一类神经网络模型。本示例性实施例中，利用经过训练的长短时记忆网络模型进行用户行为预测。将特征向量输入长短时记忆网络模型，可以得到每个神经元的数值以及输出的向量；将长短时记忆层的数值按照神经元的顺序排列，可以得到长短时记忆向量，即模型的一个中间层向量。其中，第一特征向量对应第一长短时记忆向量，第二特征向量对应第二长短时记忆向量，并依次类推。

步骤S130，依次地，根据第i-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i长短时记忆向量，其中i∈[2,N-1]。

本示例性实施例中，长短时记忆网络模型的长短时记忆层具有初始记忆状态，初始记忆状态可视为一个隐性的神经元。长短时记忆层的第一个神经元是由初始记忆状态与上一中间层共同确定的。因此，在利用长短时记忆网络模型处理第i特征向量时，除了需要输入第i特征向量外，还需要更新初始记忆状态。特别的，对于第一特征向量，可以认为初始记忆状态为0，也可以人为设定为其他值；此后可以根据前一长短时记忆向量确定当前长短时记忆网络模型的初始记忆状态，从而利用长短时记忆网络模型对各特征向量进行依次处理。

步骤S140，根据第N-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第N特征向量输入长短时记忆网络模型，得到输出向量。

利用长短时记忆网络模型依次处理各特征向量，直到最后一个特征向量，即第N特征向量。在处理第N特征向量时，初始记忆状态的确定方法同步骤S130。更新初始记忆状态后，将第N特征向量输入长短时记忆网络模型，可以得到第N长短时记忆向量与输出向量，本示例性实施例中，输出向量特指第N特征向量对应的输出向量。

步骤S150，根据输出向量确定待预测用户的行为预测结果。

输出向量的维度通常具有实际意义，表示行为预测的分类结果，例如预测用户在未来一周内是否领取优惠券，输出向量可以是二维的向量，两个维度的数值可以分别代表预测用户领取与不领取优惠券的概率，或者预测用户在未来一周内领取优惠券的数量，输出向量可以是B+1维的向量，第一维度的数值代表预测用户领取一张优惠券的概率，第二维度的数值代表预测用户领取两张优惠券的概率…第B维度的数值代表预测用户领取B张优惠券的概率，第B+1维度的数值代表预测用户不领取优惠券的概率。

本示例性实施例中，输出向量代表第N+1个长周期(也即未来的一长周期)的行为预测分类，因此可以将输出向量转换为行为预测结果，具体而言，可以将输出向量中数值最大的维度作为行为预测结果，例如在上述预测用户在未来一周内领取优惠券的数量的示例中，如果输出向量的第C维度的数值最大，则预测结果为用户在未来一周内领取C张优惠券；此外，也可以为设置一定的阈值，当输出向量中最大的数值达到该阈值时，认为模型预测成功，输出行为预测结果，否则可以认为模型预测失败，需要更多的行为数据。例如预测用户在未来一周内是否领取优惠券时，得到的输出向量为[0.6,0.4]，表示预测用户未来一周领取优惠券的概率为60％，不领取的概率为40％，如果设置阈值为70％，则虽然模型预测用户未来一周领取优惠券的概率相对较高，但不足70％，该预测的结果可信度不足，可以输出预测失败的结果。后续可以返回步骤S110，增加N的数值，或增加行为数据的种类等，再重复上述步骤S120～S150。

基于上述说明，在本示例性实施例中，获取待预测用户在最近N个长周期内的行为数据，并转换为特征向量后，依次利用长短时记忆网络模型对其进行处理，并同步更新长短时记忆网络模型的初始记忆状态，最终得到第N特征向量对应的输出向量，根据该输出向量确定待预测用户的行为预测结果。一方面，通过采集用户N个长周期的行为数据，并通过长短时记忆网络模型按照时间先后顺序对其依次分析，可以挖掘用户行为的长期特征与变化趋势，从而能够更加准确的对用户行为进行预测；另一方面，长短时记忆网络模型是一种特殊的神经网络模型，可以从机器维度对特征向量的数据进行特征提取，从而避免了人工提取特征的局限性，提高用户行为预测的准确率。

在一示例性实施例中，步骤S110可以通过以下步骤实现：

按照短周期依次统计待预测用户在N个长周期内的O种行为数据，每个长周期包括M个短周期。

将行为数据转换为具有先后顺序的N个M*O维特征向量。

其中，短周期是指基本的数据统计周期，与长周期相对应，例如长周期可以是一周，短周期可以是一天，每个长周期包括7个短周期。本示例性实施例中，长周期为短周期的整数倍。

在统计行为数据时，可以根据需要预测的行为，统计多种相关的行为数据。举例而言，在预测用户领取优惠券的场景中，以一天为短周期，可以统计以下5种行为数据：用户每天是否在优惠券领取平台签到，可以通过0/1表示；用户每天在平台签到的次数；用户每天是否领取优惠券，可以通过0/1表示；用户每天领域优惠券的次数；用户每天领取的优惠券的总券值。以一周为长周期，统计每天的5种数据，得到35个数据，因此每个长周期的行为数据可以转换为一个35维的特征向量。统计多个长周期的行为数据，可以得到多个35维的特征向量，这些特征向量之间具有与长周期相对应的先后顺序。

根据实际应用的需要，M与O可以是任意的正整数，本公开对此不做特别限定。

在一示例性实施例中，参考图2所示，长短时记忆网络模型至少可以包括以下神经网络层：

输入层，包括M*O个神经元，用于输入M*O维特征向量；

第一全连接层，包括P个神经元，用于将特征向量转换为P维的第一中间向量；

长短时记忆层，包括Q个神经元，用于根据初始记忆状态将第一中间向量转换为Q维的长短时记忆向量，Q个神经元中任意两个神经元相连接；

第二全连接层，包括R个神经元，用于将长短时记忆向量转换为R维的第二中间向量；

输出层，包括S个神经元，用于将第二中间向量转换为S维的输出向量。

其中，输入层输入的特征向量代表用户M个短周期的行为数据，具有一定的时序特征，在第一全连接层可以进行充分的特征提取，随后在长短时记忆层可以挖掘其中的时序关联，并通过第二全连接层进行整理，最终通过输出层转换为输出向量。

本示例性实施例中，参考图3所示，长短时记忆层的Q个神经元中任意两个神经元相连接，并设置一定的权重，表示任意两个或多个神经元之间可以传递状态。此外，也可以设置长短时记忆层内只能单向传递状态，例如将Q个神经元按照顺序排列为C₁、C₂…C_Q后，对于任意的i，j∈[1,Q]，当i>j时，有C_i到C_j的连接权重W(C_i->C_j)＝0。特别的，还可以设置仅由上一神经元传递状态，即当且仅当i＝j-1时，有C_i到C_j的连接权重W(C_i->C_j)≠0。本公开对此不做特别限定。

在一示例性实施例中，长短时记忆层的神经元数量可以在1000量级，例如Q可以是512、1024、1536等。

如图2所示，在利用长短时记忆网络模型处理每个特征向量时，可以由长短时记忆层得到的长短时记忆向量计算下一轮模型处理中的初始记忆状态，并参与下一轮模型处理过程。从而将上一个长周期的行为数据的时序特征传递到下一个长周期的行为数据的处理过程中，实现了长时期的行为数据的时序特征挖掘。

需要说明的是，在一次用户行为预测中，共利用长短时记忆网络模型进行了N轮预测，其中每一轮预测所用的长短时记忆网络模型与上一轮的长短时记忆网络模型通过长短时记忆层连接，连接权重可视为长短时记忆层的循环连接权重(即计算初始记忆状态的权重)，对于任一轮预测，该权重为模型中的参数，应当相同。

对于上述长短时记忆网络模型，可以利用大量的历史用户数据进行训练。例如，获取多个用户在N+1个历史长周期的行为数据，将其中较早的N个长周期的行为数据转换为样本特征向量，将第2至第N+1个长周期的行为数据转换为行为标签，从而产生了两种特征向量与行为标签的对应关系：一种是每个特征向量对应于下一长周期的行为标签；另一种是每组特征向量(包含N个特征向量)对应于第N+1长周期的行为标签。可以通过两种特征向量与行为标签的对应关系训练长短时记忆网络模型的内部连接权重与长短时记忆层的循环连接权重(即计算初始记忆状态的权重)。

进一步的，上述长短时记忆层为前向长短时记忆层，上述长短时记忆向量为前向长短时记忆向量，上述初始记忆状态为前向初始记忆状态；则参考图4所示，长短时记忆网络模型还可以包括：后向长短时记忆层，包括T个神经元，用于根据后向初始记忆状态将前向长短时记忆向量转换为T维的后向长短时记忆向量，T个神经元中任意两个神经元相连接；

相应的，第二全连接层可以用于将后向长短时记忆向量转换为第二中间向量。

步骤S120可以包括：将第一特征向量输入一长短时记忆网络模型，得到第一前向长短时记忆向量与第一后向长短时记忆向量。

步骤S130可以包括：依次地，分别根据第i-1前向长短时记忆向量与第i-1后向长短时记忆向量更新长短时记忆网络模型的前向初始记忆状态与后向初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i前向长短时记忆向量与第i后向长短时记忆向量。

通过增加一个长短时记忆层，可以对第一全连接层中的向量进行充分的时序特征挖掘，进一步提高用户行为预测的准确率。应当理解，根据实际需要，还可以设置第三个或更多的长短时记忆层，且长短时记忆层之间也可以***其他中间层，也可以增加第三全连接层、第四全连接层等，本公开对此不做特别限定。

需要说明的是，上述P、Q、R、S、T分别为长短时记忆网络模型中不同层的神经元数量，而神经元数量由开发人员的参数设定情况与模型的训练情况决定，具体与应用场景、用户行为数据的复杂度、样本数据的数量、训练参数等多个因素相关。因此，P、Q、R、S、T可以是任意的正整数，本公开对此不做特别限定。

在一示例性实施例中，上述长短时记忆网络模型中，还可以在任意一层或多层设置偏置单元(在形式上可视为特殊的神经元)。

在一示例性实施例中，可以利用长短时记忆网络模型预测用户在未来M个短周期内进行某种行为的短周期数，例如在未来7天内领取优惠券的天数。则预测结果应当为[0,M]之间的整数，用户行为预测可以转化为M+1种结果的分类问题，因此可以得出S＝M+1。

在一示例性实施例中，第一全连接层与第二全连接层可以是ReLu激活层；输出层可以是Softmax激活层。ReLu激活函数用于全连接层中，可以在提取特征的同时进行稀疏化作用。而Softmax激活函数适合于对输出的数值进行归一化处理，得到分类结果。

在一示例性实施例中，用户行为预测方法可以参考图5所示，包括以下步骤：

步骤S510，统计待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；

步骤S520，将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量与第一输出向量G1；

步骤S530，依次地，根据第i-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i长短时记忆向量与第i输出向量G_i，其中i∈[2,N-1]；

步骤S540，根据第N-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第N特征向量输入长短时记忆网络模型，得到第N输出向量；

步骤S550，依次根据第i特征向量确定第i真实向量Hi，并将第i真实向量H_i与第i-1输出向量G_i-1进行匹配；

步骤S560，如果满足以下条件(1)，则判定本次用户行为预测无效：

其中，K为匹配阈值，Ⅱ(·)为指示函数，当括号内的·为真和假时分别取值1和0；

步骤S570，如果不满足条件(1)，则根据第N输出向量确定待预测用户的行为预测结果。

在长短时记忆网络模型中，输出向量表示对下一个长周期的用户行为预测，例如第一特征向量对应的第一输出向量G1为第二长周期的预测结果。而在本示例性实施例中，第一长周期到第N长周期为最近的N个长周期，即历史周期，则可以根据第二长周期的第二特征向量得到真实行为结果，用真实向量H2表示。对比H2与G1，可以得知G1的预测结果是否准确。在本示例性实施例中，G_N为最终需要得到的输出向量，以预测用户在未来一个长周期内的行为，而G1～G_N-1可视为模型处理过程所产生的中间数据，可以在一定程度上反映模型预测的准确率。因此，依次匹配H_i与G_i-1，并累积统计匹配程度，用

表征，该值越大表示模型准确率越高。可以设定匹配阈值K，作为判断标准，如果

说明模型在前N-1轮预测的效果不好，则第N轮预测的结果也不可信，可以判定本次用户行为预测无效；反之，说明预测效果较好，可以通过G_N确定最终的行为预测结果。K的数值可以根据经验设定，例如K＝0.7·(N-1)，表示模型在前N-1轮预测中，需要至少70％的轮数预测准确，也可以在实际应用过程中对K的数值进行优化，例如将有效的用户行为预测结果与后来的实际用户行为对比，如果不一致的情况较多，则可以适当增大K的数值，将无效的用户行为预测结果与后来的实际用户行为对比，如果一致的情况较多，则可以适当减小K的数值等，本公开对此不做特别限定。

在其他实施例中，由于长短时记忆网络模型具有时序累积效应，预测的轮数越大，预测的结果越可信，因此也可以对每一轮预测结果的匹配情况进行加权统计，即满足以下条件(2)时，可以判定本次用户行为预测无效：

其中，每一轮预测的权重可以与轮数相等。条件(2)中的K与条件(1)中的K为不同形式的匹配阈值，其数值通常不相等，例如条件(1)中的K为0.7·(N-1)，条件(2)中的K可以为0.7。

具体采用哪种判定条件，本公开不做特别限定。

本公开的示例性实施例还提供了一种用户行为预测装置，参考图6所示，该装置600可以包括：数据获取模块610，用于获取待预测用户在N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；模型分析模块620，用于将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量，依次地，根据第i-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i长短时记忆向量，以及根据第N-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第N特征向量输入长短时记忆网络模型，得到输出向量，其中i∈[2,N-1]；结果输出模块630，用于根据输出向量确定待预测用户的行为预测结果。

在一示例性实施例中，数据获取模块还可以用于按照短周期依次统计待预测用户在最近N个长周期内的O种行为数据，其中每个长周期包括M个短周期，并将行为数据转换为具有先后顺序的N个M*O维特征向量。

在一示例性实施例中，长短时记忆网络模型至少包括：输入层，包括M*O个神经元，用于输入M*O维特征向量；第一全连接层，包括P个神经元，用于将特征向量转换为P维的第一中间向量；长短时记忆层，包括Q个神经元，用于根据初始记忆状态将第一中间向量转换为Q维的长短时记忆向量，Q个神经元中任意两个神经元相连接；第二全连接层，包括R个神经元，用于将长短时记忆向量转换为R维的第二中间向量；输出层，包括S个神经元，用于将第二中间向量转换为S维的输出向量。

在一示例性实施例中，上述长短时记忆层为前向长短时记忆层，长短时记忆向量为前向长短时记忆向量，初始记忆状态为前向初始记忆状态；长短时记忆网络模型还可以包括：后向长短时记忆层，包括T个神经元，用于根据后向初始记忆状态将前向长短时记忆向量转换为T维的后向长短时记忆向量，T个神经元中任意两个神经元相连接；则第二全连接层用于将后向长短时记忆向量转换为第二中间向量；模型分析模块还可以用于将第一特征向量输入一长短时记忆网络模型，得到第一前向长短时记忆向量，依次地，分别根据第i-1前向长短时记忆向量与第i-1后向长短时记忆向量更新长短时记忆网络模型的前向初始记忆状态与后向初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i前向长短时记忆向量与第i后向长短时记忆向量。

在一示例性实施例中，S＝M+1。

在一示例性实施例中，第一全连接层与第二全连接层可以是ReLu激活层；输出层可以是Softmax激活层。

在一示例性实施例中，模型分析模块还可以用于将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量与第一输出向量，依次地，根据第i-1长短时记忆向量更新长短时记忆网络模型的初始记忆状态，并将第i特征向量输入长短时记忆网络模型，得到第i长短时记忆向量与第i输出向量，其中i∈[2,N-1]；结果输出模块还可以用于依次根据第i特征向量确定第i真实向量H_i，并将第i真实向量H_i与第i-1输出向量G_i-1进行匹配，以及如果满足以下条件(1)，则判定本次用户行为预测无效，如果不满足条件(1)，则根据输出向量确定待预测用户的行为预测结果，其中输出向量为第N输出向量；

其中，K为匹配阈值。

上述各模块的具体细节在方法部分的实施例中已经详细说明，因此不再赘述。

本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图7来描述根据本公开的这种示例性实施例的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同***组件(包括存储单元720和处理单元710)的总线730、显示单元740。

其中，存储单元存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元710可以执行图1所示的步骤S110～S150，也可以执行图5所示的步骤S510～S570等。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)721和/或高速缓存存储单元722，还可以进一步包括只读存储单元(ROM)723。

存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724，这样的程序模块725包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。

本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图8所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种用户行为预测方法，其特征在于，包括：

获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；

将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量；

依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量，其中i∈[2,N-1]；

根据第N-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第N特征向量输入所述长短时记忆网络模型，得到输出向量；

根据所述输出向量确定所述待预测用户的行为预测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待预测用户在最近N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量包括：

按照短周期依次统计待预测用户在最近N个长周期内的O种行为数据，每个长周期包括M个短周期；

将所述行为数据转换为具有先后顺序的N个M*O维特征向量。

3.根据权利要求2所述的方法，其特征在于，所述长短时记忆网络模型至少包括：

输入层，包括M*O个神经元，用于输入所述M*O维特征向量；

第一全连接层，包括P个神经元，用于将所述特征向量转换为P维的第一中间向量；

长短时记忆层，包括Q个神经元，用于根据所述初始记忆状态将所述第一中间向量转换为Q维的长短时记忆向量，所述Q个神经元中任意两个神经元相连接；

第二全连接层，包括R个神经元，用于将所述长短时记忆向量转换为R维的第二中间向量；

输出层，包括S个神经元，用于将所述第二中间向量转换为S维的输出向量。

4.根据权利要求3所述的方法，其特征在于，所述长短时记忆层为前向长短时记忆层，所述长短时记忆向量为前向长短时记忆向量，所述初始记忆状态为前向初始记忆状态；所述长短时记忆网络模型还包括：

后向长短时记忆层，包括T个神经元，用于根据后向初始记忆状态将所述前向长短时记忆向量转换为T维的后向长短时记忆向量，所述T个神经元中任意两个神经元相连接；

则所述第二全连接层用于将所述后向长短时记忆向量转换为所述第二中间向量；

所述将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量包括：

将第一特征向量输入一长短时记忆网络模型，得到第一前向长短时记忆向量；

所述依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量包括：

依次地，分别根据第i-1前向长短时记忆向量与第i-1后向长短时记忆向量更新所述长短时记忆网络模型的前向初始记忆状态与后向初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i前向长短时记忆向量与第i后向长短时记忆向量。

5.根据权利要求3所述的方法，其特征在于，S＝M+1。

6.根据权利要求3所述的方法，其特征在于，所述第一全连接层与第二全连接层为线性修正单元ReLu激活层；所述输出层为归一化指数函数Softmax激活层。

7.根据权利要求1所述的方法，其特征在于，所述将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量包括：

将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量与第一输出向量；

所述依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量包括：

依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量与第i输出向量，其中i∈[2,N-1]；

所述方法还包括：

依次根据所述第i特征向量确定第i真实向量H_i，并将所述第i真实向量H_i与第i-1输出向量G_i-1进行匹配；

如果满足以下条件(1)，则判定本次用户行为预测无效：

其中，K为匹配阈值；

如果不满足所述条件(1)，则执行根据所述输出向量确定所述待预测用户的行为预测结果的步骤，其中所述输出向量为第N输出向量。

8.一种用户行为预测装置，其特征在于，包括：

数据获取模块，用于获取待预测用户在N个长周期内的行为数据，并转换为具有先后顺序的N个特征向量；

模型分析模块，用于将第一特征向量输入一长短时记忆网络模型，得到第一长短时记忆向量，依次地，根据第i-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第i特征向量输入所述长短时记忆网络模型，得到第i长短时记忆向量，以及根据第N-1长短时记忆向量更新所述长短时记忆网络模型的初始记忆状态，并将第N特征向量输入所述长短时记忆网络模型，得到输出向量，其中i∈[2,N-1]；

结果输出模块，用于根据所述输出向量确定所述待预测用户的行为预测结果。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

Images