CN116028319A

CN116028319A - 基于用户交互行为的预测方法、装置及存储介质

Info

Publication number: CN116028319A
Application number: CN202211649054.1A
Authority: CN
Inventors: 项军
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2022-12-21
Filing date: 2022-12-21
Publication date: 2023-04-28

Abstract

本申请公开了一种基于用户交互行为的预测方法、装置及存储介质。其中，该方法包括：获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合；对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。本申请解决了由于相关技术中推荐***未考虑随着时间变化用户的喜好可能发生变化造成的推荐结果不准确，影响用户体验的技术问题。

Description

基于用户交互行为的预测方法、装置及存储介质

技术领域

本申请涉及推荐领域，具体而言，涉及一种基于用户交互行为的预测方法、装置及存储介质。

背景技术

随着互联网的快速发展，移动应用越来越多，它们提供海量的服务(购物，视频，新闻等)，各类服务也包含海量的内容，如何让用户第一时间看到自己感兴趣的内容，是摆在企业面前的难题。而随着机器学习方法的发展，推荐***的发展让企业能够满足用户的需求，现有推荐***一般通过使用一些与用户有关的信息来预测用户的兴趣，比如用户的年龄、喜好等特征。但是这些推荐***大部分没有考虑因为用户长期以来喜好的变化而导致推荐的不准确。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于用户交互行为的预测方法、装置及存储介质，以至少解决由于相关技术中推荐***未考虑随着时间变化用户的喜好可能发生变化造成的推荐结果不准确，影响用户体验的技术问题。

根据本申请实施例的一个方面，提供了一种基于用户交互行为的预测方法，包括：获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。

可选地，基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，包括：基于预训练的语言表征模型的嵌入层将目标规范化序列映射为第一嵌入向量；基于奇偶位置参数对第一嵌入向量中的交互行为与项目进行标记得到第二嵌入向量，其中，奇数位置为交互行为，偶数位置为项目；基于第二嵌入向量确定预测结果。

可选地，基于第二嵌入向量确定预测结果，包括：基于预训练的语言表征模型的编码层对第二嵌入向量进行运算得到目标向量；基于预训练的语言表征模型的输出层对目标向量进行分析得到预测结果。

可选地，编码层包括：n个编码器，目标向量通过如下方式确定：将第二嵌入向量输入至编码层的第一个编码器中，后续每个编码器的输入都是前一层经过逐点前馈机制以后得到的输出，最终通过堆叠n个编码器完成对交互行为数据的深层次学习，得到目标向量。

可选地，输出层，包括：一个全连接层、一个依赖性分数增强器以及一个Softmax层；其中，全连接层是一个两层的全连接神经网络，依赖性分数增强器用于确定各个项目之间的相互依赖程度，Softmax层根据将经过依赖性分数增强器的向量计算其对应的交互行为和项目，并选择对应概率最高的类型作为预测结果。

可选地，在对交互行为集合以及项目集合进行数据预处理得到目标规范化序列之前，还包括：将交互行为集合以及项目集合分别转换为第一初始规范序列以及第二初始规范序列，其中，第一初始规范序列中的元素为交互行为集合中元素的索引，第二初始规范序列中的元素为项目集合中元素的索引。

可选地，对交互行为集合以及项目集合进行数据预处理得到目标规范化序列，包括：基于交互时间顺序对第一初始规范序列进行排序；将排序后的第一初始规范序列中的各个交互行为与第二初始规范序列中对应的各个项目进行关联，得到目标规范化序列。

根据本申请实施例的另一方面，还提供了一种基于用户交互行为的预测装置，包括：获取模块，用于获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；处理模块，用于对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；分析模块，用于基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行任意一种基于用户交互行为的预测方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现任意一种基于用户交互行为的预测方法。

在本申请实施例中，通过建模用户历史信息中不同类型的交互行为，学习不同交互行为之间的相关性来预测用户下一次的交互行为的方式，具体的，通过获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为，达到了准确预测用户的交互行为以及感兴趣的项目、进而可以提高用户的留存率的技术效果，进而解决了由于相关技术中推荐***未考虑随着时间变化用户的喜好可能发生变化造成的推荐结果不准确，影响用户体验技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例一种可选的基于用户交互行为的预测方法的流程示意图；

图2是本申请一些实施例中的预测方法的架构示意图；

图3是本申请一实施例中一种预测方法的实施流程示意图；

图4是本申请一实施例中，输出层存在多个被遮掩的符号的情况示意图；

图5是根据本申请实施例的一种可选的基于用户交互行为的预测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中的推荐方法主要有基于项目相似度的方法，其通过计算项目之间的相似度为用户推荐最相似的项目列表；有基于协同过滤的方法，其通过找到与目标用户最相似的邻居用户，为用户推荐邻居用户感兴趣的项目；有基于矩阵分解的方法，其用过将项目与项目建模在不同的矩阵来预测用户感兴趣的项目。而随着机器学习方法的发展，已经有基于Transformer、BERT的推荐方法，可以有效地学习用户交互历史。本发明相较于基于Transformer、BERT的推荐方法，通过设计的转换规则可以建模不同类型的交互，能够有效的应对不同类型交互所构成的异构场景。此外，通过在BERT中引入奇偶位置参数、交互行为对参数、依赖性分数增强器来更有效的学习本申请提出的转换规则中的潜在语义，可以更加准确的预测用户的未来交互行为。由于本发明考虑不同类型的交互行为，因此，本申请能够对现有技术忽略的用户负面行为，如负面评价等内容进行建模，能够扩大本方法的应用场景。

根据本申请实施例，提供了一种基于用户交互行为的预测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的基于用户交互行为的预测方法，如图1所示，该方法包括如下步骤：

步骤S102，获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；

步骤S104，对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；

步骤S106，基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。

该方法中，通过建模用户历史信息中不同类型的交互行为，学习不同交互行为之间的相关性来预测用户下一次的交互行为的方式，具体的，通过获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为，达到了准确预测用户的交互行为以及感兴趣的项目、进而可以提高用户的留存率的技术效果，进而解决了由于相关技术中推荐***未考虑随着时间变化用户的喜好可能发生变化造成的推荐结果不准确，影响用户体验技术问题。

本申请一些实施例中，基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，可以通过如下步骤实现：基于预训练的语言表征模型的嵌入层将目标规范化序列映射为第一嵌入向量；基于奇偶位置参数对第一嵌入向量中的交互行为与项目进行标记得到第二嵌入向量，其中，奇数位置为交互行为，偶数位置为项目；基于第二嵌入向量确定预测结果。

可选地，基于第二嵌入向量确定预测结果，包括：基于预训练的语言表征模型的编码层对第二嵌入向量进行运算得到目标向量；基于预训练的语言表征模型的输出层对目标向量进行分析得到预测结果。需要说明的是，上述预训练的语言表征模型可以缩写为BERT。

需要说明的是，上述编码层包括：n个编码器，目标向量可以通过如下方式确定：将第二嵌入向量输入至编码层的第一个编码器中，后续每个编码器的输入都是前一层经过逐点前馈机制以后得到的输出，最终通过堆叠n个编码器完成对交互行为数据的深层次学习，得到目标向量。

图2是本申请一些实施例中的预测方法的架构示意图，如图2所示，输出层，包括：一个全连接层、一个依赖性分数增强器以及一个Softmax层；其中，全连接层是一个两层的全连接神经网络，依赖性分数增强器用于确定各个项目之间的相互依赖程度，Softmax层根据将经过依赖性分数增强器的向量计算其对应的交互行为和项目，并选择对应概率最高的类型作为预测结果。

本申请一种可选的实施例中，在对交互行为集合以及项目集合进行数据预处理得到目标规范化序列之前，可将将交互行为集合以及项目集合分别转换为第一初始规范序列以及第二初始规范序列，其中，第一初始规范序列中的元素为交互行为集合中元素的索引，第二初始规范序列中的元素为项目集合中元素的索引。

具体的，对交互行为集合以及项目集合进行数据预处理得到目标规范化序列，可以通过如下方式实现：基于交互时间顺序对第一初始规范序列进行排序；将排序后的第一初始规范序列中的各个交互行为与第二初始规范序列中对应的各个项目进行关联，得到目标规范化序列。

图3是本申请一实施例中一种预测方法的实施流程示意图，如图3所示，该流程包括：S1，输入用户交互行为；S2，用户交互行为数据建模；S3，输入数据至BERT网络；S4，预测用户未来交互行为。具体的：

S1、首先，输入用户相关的交互行为数据，为了提高本方法预测的准确性，本方法将引入用户历史交互行为数据，为后续建模用户交互行为序列奠定基础。具体来说，本方法在初始化时将输入项目集合IT＝{it₁,it₂,…,it_M}，其中it_M是项目M，交互行为集合T＝{t₁,t₂,…,t_K}，其中t_K是交互行为K。对于每个用户，输入的数据为{(t,it)₁,(t,it)₂,…,(t,it)_l}(即历史交互行为数据)，其中t∈T，it∈IT。

S2、其次，对于输入用户交互行为数据，为了能够让BERT模型进行学习，本步骤设计了一种规范化输入数据的转换规则以对交互行为数据进行建模，规则如下所示：

首先，本步骤将用户交互行为集合T＝{t₁,t₂,…,t_K}规范化为E＝{e₁,e₂,…,e_K}，其中e_K是t_K的索引数字K，将项目集合IT＝{it₁,it₂,…,it_M}规范化I＝{i₁,i₂,…,i_M}，其中i_M是it_M的索引数字M。(即将交互行为集合以及项目集合分别转换为第一初始规范序列，以及第二初始序列)

其次，对于每个用户的交互行为集合，本步骤将对其所有的交互行为按照时间进行排序，同时将其交互行为和其联系的项目分别规范化表述为e_i和i_i，最后，对于每个用户的交互行为集合，在规范化后可以得到序列S(u)＝{e₁,i₁,…,e_l,i_l}。(即基于交互时间顺序对第一初始规范序列进行排序，将排序后的第一初始规范序列中的各个交互行为与第二初始规范序列中对应的各个项目关联得到目标规范化序列。

S3、得到每个用户的规范化序列S(u)＝{e₁,i₁,…,e_l,i_l}后，本方法借鉴BERT模型的思想，通过在嵌入层引入新的参数以更好的学习用户的交互行为序列。具体如图2所示：

(1)嵌入层

在输入S(u)＝{e₁,i₁,…,e_l,i_l}序列后，嵌入层将序列映射成嵌入向量(即基于预训练的语言表征模型的嵌入层将目标规范化序列映射为第一嵌入向量)。本方法利用位置嵌入(Positional Embedding)实现序列到嵌入向量的转变，对于给定项目i_l，嵌入层的计算如公式1所示。

h_i＝v_i+P_pos(i) (1)

其中，v_i是i_l固定维度的嵌入向量(维度大小由人工指定，默认维度64)，本方法将每个项目视为一个单词，利用word2vec方法可以得到每个项目的嵌入向量v_i。

其中，P_pos(i)是i_l的位置嵌入向量，计算如公式2所示，交互行为利用cos函数计算奇数位置嵌入向量，项目利用sin函数计算偶数位置嵌入向量。

对于给定交互行为e_l，同样使用上述方法将其转化为嵌入向量h_i(第二嵌入向量)。

本方法由于是将用户的交互行为与项目成对的输入，奇数位置是交互行为，偶数位置是项目，因此引入奇偶位置参数P_type(i)来标记序列中的嵌入向量是交互行为还是项目，P_type(i)的计算如公式3所示，其中交互行为赋值为1，项目赋值为0。

同时，本方法交互行为对参数P_relevance(i)来表示同一对交互行为和项目(对于同一对的交互行为(e_l,i_l),P_relevance(i)是相同的)。P_relevance(i)的计算如公式4所示。

上述两个参数能够帮助模型更好的学习交互行为与项目之间的关系，(即基于奇偶位置参数对第一嵌入向量的交互行为与项目进行标记得到第二嵌入向量)。

(2)编码层

编码层由n个编码器组成。在得到嵌入层的输出向量h_i后，本方法将借鉴Transformer思想对向量h_i进行编码以学习更深层次的上下文关系。对于每一层编码器，输入为

输出为将中间向量堆叠后的F^l。具体来说，每个编码器主要由多头注意力机制以及逐点前馈机制。

多头注意力机制：注意力机制可以捕获序列中重要的信息，而多头注意力机制则可以利用多个向量空间对序列进行表示，有利于学习更多的信息，多头注意力机制如公式5下所示。

其中head_i(H)是每个注意力头的输出，W^MH,

是权重矩阵，

是编码器的输入向量。

多头逐点前馈机制：因为注意力机制是线性的，因此需要引入非线性函数来提高模型的学习能力，故本方法使用多头逐点前馈机制来提高模型的学习能力。多头逐点前馈机制的计算如公式6所示。

其中

是每个逐点前馈头的输出，GeLU是激活函数，W⁽¹⁾,W⁽²⁾,b⁽¹⁾,b⁽²⁾是权重矩阵以及偏置值，H^l是经过多头注意力机制的中间向量。

具体来说，对于n个编码器，编码层的流程如公式7。

h_i->H¹->F¹->H²->F²->...->->Hⁿ->T_i(7)

除了第一个编码器的输入是嵌入层的输出向量h_i，后续每个编码器的输入都是前一层经过逐点前馈机制以后得到的输出F^l，最终通过堆叠n个编码器完成对用户交互序列的深层次学习(编码层n的数量由人工指定)，最后一层编码器输出最终向量T_i。(即基于预训练的语言表征模型的编码层对第二嵌入向量进行运算得到目标向量)。

(3)输出层

输出层由一个全连接层、一个依赖性分数增强器以及一个Softmax层组成。

其中全连接层是一个两层的全连接神经网络，对于训练中每一个被mask的token，全连接层将输出一个隐藏向量L_i。

由于部分交互行为依赖与其他交互行为，因此本方法设计了一个依赖性分数增强器用于优化模型的准确性。具体来说，如果训练中被mask的token是一个项目i_l，本方法将检查与其组成一对的交互行为e_l，若交互行为e_l依赖其他交互行为e_k，则依赖性分数增强器将该项目i_l的分数设定为1(权重可由人工设定)，若不依赖则分数为0.1(权重由人工设定)，这样可以区分有价值与无关紧要的项目，计算如公式8所示，其中e_l！-e_k代表交互行为e_l不依赖其他交互行为e_k，e_l-e_k代表交互行为e_l依赖其他交互行为e_k。

Softmax层根据将经过依赖性分数增强器的向量C_i计算其对应的交互行为和项目,对于训练中每一个被mask的token，将选择对应概率最高的类型作为本方法的预测结果Y_i，如公式9所示。

Y_i＝Softmax(C_i)(9)

本方法采用将原始用户交互行为序列mask部分token的形式进行训练，因此在训练中，最后的输出层会存在多个被mask的token，如图4所示。而在实际预测时，本方法将被给定用户交互行为序列{(t,it)₁,(t,it)₂,…,(t,it)_l}以及项目it_l+1或交互行为t_l+1以此预测输出项目it_l+1对应的交互行为t_l+1或交互行为t_l+1对应的项目it_l+1。(基于预训练的语言表征模型的输出层对目标向量进行分析得到预测结果。)。

图5是根据本申请实施例的一种基于用户交互行为的预测装置，如图5所示，该装置包括：

获取模块50，用于获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；

处理模块52，用于对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；

分析模块54，用于基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。

该预测装置中，获取模块50，用于获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；处理模块52，用于对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；分析模块54，用于基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为，达到了准确预测用户的交互行为以及感兴趣的项目、进而可以提高用户的留存率的技术效果，进而解决了由于相关技术中推荐***未考虑随着时间变化用户的喜好可能发生变化造成的推荐结果不准确，影响用户体验技术问题。

具体地，上述存储介质用于存储以下功能的程序指令，实现以下功能：

获取目标对象的历史交互行为数据，其中，历史交互行为数据包括：交互行为集合以及项目集合，交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且交互行为集合中交互行为的排列顺序和数据项目集合中与交互行为对应的项目的排列顺序相同；对交互行为集合以及项目集合进行规范化处理得到目标规范化序列；基于预训练的语言表征模型对目标规范化序列进行分析得到预测结果，其中，预测结果用于指示在目标时段交互行为对应的项目，或者每个项目对应的交互行为。

可选地，在本实施例中，上述存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。上述存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

在本申请一示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项的基于用户交互行为的预测方法。

可选地，该计算机程序在被处理器执行时可实现如下步骤：

根据本申请的实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的基于用户交互行为的预测方法。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入设备输出设备和上述处理器连接。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种基于用户交互行为的预测方法，其特征在于，包括：

获取目标对象的历史交互行为数据，其中，所述历史交互行为数据包括：交互行为集合以及项目集合，所述交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且所述交互行为集合中所述交互行为的排列顺序和所述数据项目集合中与所述交互行为对应的项目的排列顺序相同；

对所述交互行为集合以及所述项目集合进行规范化处理得到目标规范化序列；

基于预训练的语言表征模型对所述目标规范化序列进行分析得到预测结果，其中，所述预测结果用于指示在目标时段所述交互行为对应的项目，或者每个项目对应的交互行为。

2.根据权利要求1所述的预测方法，其特征在于，基于预训练的语言表征模型对所述目标规范化序列进行分析得到预测结果，包括：

基于预训练的语言表征模型的嵌入层将所述目标规范化序列映射为第一嵌入向量；

基于奇偶位置参数对所述第一嵌入向量中的交互行为与项目进行标记得到第二嵌入向量，其中，奇数位置为交互行为，偶数位置为项目；基于所述第二嵌入向量确定所述预测结果。

3.根据权利要求2所述的预测方法，其特征在于，基于所述第二嵌入向量确定所述预测结果，包括：

基于所述预训练的语言表征模型的编码层对所述第二嵌入向量进行运算得到目标向量；

基于所述预训练的语言表征模型的输出层对所述目标向量进行分析得到所述预测结果。

4.根据权利要求3所述的预测方法，其特征在于，所述编码层包括：n个编码器，所述目标向量通过如下方式确定：

将所述第二嵌入向量输入至所述编码层的第一个编码器中，后续每个编码器的输入都是前一层经过逐点前馈机制以后得到的输出，最终通过堆叠所述n个编码器完成对所述交互行为数据的深层次学习，得到所述目标向量。

5.根据权利要求3所述的预测方法，其特征在于，所述输出层，包括：一个全连接层、一个依赖性分数增强器以及一个Softmax层；其中，所述全连接层是一个两层的全连接神经网络，依赖性分数增强器用于确定各个项目之间的相互依赖程度，所述Softmax层根据将经过所述依赖性分数增强器的向量计算其对应的交互行为和项目，并选择对应概率最高的类型作为所述预测结果。

6.根据权利要求1所述的预测方法，其特征在于，在对所述交互行为集合以及所述项目集合进行数据预处理得到目标规范化序列之前，所述方法还包括：

将所述交互行为集合以及所述项目集合分别转换为第一初始规范序列以及第二初始规范序列，其中，所述第一初始规范序列中的元素为所述交互行为集合中元素的索引，所述第二初始规范序列中的元素为所述项目集合中元素的索引。

7.根据权利要求6所述的预测方法，其特征在于，对所述交互行为集合以及所述项目集合进行数据预处理得到目标规范化序列，包括：

基于交互时间顺序对所述第一初始规范序列进行排序；

将排序后的所述第一初始规范序列中的各个交互行为与所述第二初始规范序列中对应的各个项目进行关联，得到所述目标规范化序列。

8.一种基于用户交互行为的预测装置，其特征在于，包括：

获取模块，用于获取目标对象的历史交互行为数据，其中，所述历史交互行为数据包括：交互行为集合以及项目集合，所述交互行为集合中的交互行为数据和项目集合中的项目是一一对应的，且所述交互行为集合中所述交互行为的排列顺序和所述数据项目集合中与所述交互行为对应的项目的排列顺序相同；

处理模块，用于对所述交互行为集合以及所述项目集合进行规范化处理得到目标规范化序列；

分析模块，用于基于预训练的语言表征模型对所述目标规范化序列进行分析得到预测结果，其中，所述预测结果用于指示在目标时段所述交互行为对应的项目，或者每个项目对应的交互行为。

9.一种非易失性存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述基于用户交互行为的预测方法。

10.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的基于用户交互行为的预测方法。