CN112801719A - 用户行为预测方法、用户行为预测装置、存储介质及设备 - Google Patents

Abstract

本公开提供一种用户行为预测方法、用户行为预测装置、计算机可读存储介质与电子设备，涉及计算机技术领域。所述用户行为预测方法包括：根据用户基本信息确定用户基本特征；对用户行为信息进行统计，得到行为统计特征；从所述用户行为信息中提取行为序列特征；基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果。本公开可以根据用户的多维特征对用户行为进行准确预测。

Description

用户行为预测方法、用户行为预测装置、存储介质及设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种用户行为预测方法、用户行为预测装置、计算机可读存储介质与电子设备。

背景技术

随着互联网在各个行业内越来越广泛的普及与应用，电商、互联网金融、生活服务、游戏等多个领域的企业都致力于通过收集与分析用户的信息数据，挖掘用户行为需求，以为用户提供更加具有针对性的产品或服务。

现有技术中，通常是基于大量的用户数据直接作为待处理数据，进行分析确定，对用户行为进行预测的。然而，上述用户数据的处理过程中，对用户数据的处理方式比较单一，往往会忽略数据之间的关系，对用户数据的分析不够充分、全面，进而导致用户行为的预测结果也较为片面，准确性较低。

发明内容

本公开提供了一种用户行为预测方法、用户行为预测装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术对用户数据分析不够充分，导致用户行为预测不够准确的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种用户行为预测方法，包括：根据用户基本信息确定用户基本特征；对用户行为信息进行统计，得到行为统计特征；从所述用户行为信息中提取行为序列特征；基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果。

根据本公开的第二方面，提供一种用户行为预测装置，包括：第一特征确定模块，用于根据用户基本信息确定用户基本特征；第二特征确定模块，用于对用户行为信息进行统计，得到行为统计特征；第三特征确定模块，用于从所述用户行为信息中提取行为序列特征；预测结果确定模块，用于基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的用户行为预测方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的用户行为预测方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

根据用户基本信息确定用户基本特征；对用户行为信息进行统计，得到行为统计特征；从用户行为信息中提取行为序列特征；基于用户基本特征、行为统计特征与行为序列特征，确定用户行为预测结果。一方面，本示例性实施例提出一种新的用户行为预测方法，通过用户基本特征、行为统计特征以及行为序列特征多个维度的特征数据确定用户行为预测结果，所分析的特征数据丰富且全面，保证了确定出的用户行为预测结果更为全面、有效；另一方面，本示例性实施例能够对用户行为信息进行充分的利用与挖掘，通过从用户行为信息中提取行为序列特征，基于数据之间的关系，来预测用户行为，预测结果更为准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种***架构的示意图；

图2示出本示例性实施方式中一种电子设备的结构图；

图3示出本示例性实施方式中一种用户行为预测方法的流程图；

图4示出本示例性实施方式中一种用户行为预测方法的子流程图；

图5示出本示例性实施方式中一种预测模型训练过程的流程图；

图6示出本示例性实施方式中采用Word2vec模型进行特征处理过程的示意图；

图7示出本示例性实施方式中采用BERT模型进行特征处理过程的示意图；

图8示出本示例性实施方式中另一种用户行为预测方法的子流程图；

图9示出本示例性实施方式中另一种用户行为预测方法的模型架构示意图；

图10示出本示例性实施方式中一种用户行为预测装置的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

鉴于上述一个或多个问题，本公开的示例性实施方式提供一种用户行为预测方法。图1示出了本示例性实施方式运行环境的***架构图。如图1所示，该***架构100可以包括服务器110和终端120，两者之间通过网络形成通信交互，例如服务器110从终端120获取用户信息进行处理，或者向终端120返回处理结果等。其中，服务端110可以是后台服务器；终端120可以是用户使用的设备，包括但不限于智能手机、平板电脑、游戏机等。应当理解，图1中各装置的数量仅是示例性的。根据实现需要，可以设置任意数量的终端，或者服务端可以是多台服务器形成的集群。

本公开实施方式所提供的用户行为预测方法可以由服务器110执行，例如，通过由服务器110获取终端120中的用户信息进行处理，得到用户行为预测结果返回至终端120中；也可以由终端120执行，例如直接由终端120获取对应的用户信息进行处理，得到用户行为预测结果等，本公开对此不做具体限定。

本公开的示例性实施方式还提供一种电子设备，用于执行上述用户行为预测方法。该电子设备可以是上述服务器110或终端120。一般的，电子设备包括处理器和存储器。存储器用于存储处理器的可执行指令，也可以存储应用数据，如用户基本信息或用户行为信息等；处理器配置为经由执行可执行指令来执行本示例性实施方式中的用户行为预测方法。

下面以图2中的终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。终端200可以支持一种或多种编码器和解码器。

在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和终端200的其他部件形成连接。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行终端200的各种功能应用以及数据处理。

外部存储器接口222可以用于连接外部存储器，例如Micro SD卡，实现扩展终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储音乐，视频等文件。

USB接口230是符合USB标准规范的接口，可以用于连接充电器为终端200充电，也可以连接耳机或其他电子设备。

充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。

终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在终端200上的包括WLAN(Wireless Local AreaNetworks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星***)、FM(FrequencyModulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

终端200可以通过GPU、显示屏幕290及AP等实现显示功能，显示用户界面。终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能，还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。

传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。

终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话以及数据通信等功能。

本示例性实施例的应用场景包括但不限于：在电商平台，根据用户行为预测结果，为用户推荐商品或广告信息；在游戏平台，根据用户行为预测结果，为用户推荐游戏活动等。

图3示出了用户行为预测方法的示例性流程，可以由上述服务器110或终端120执行，包括以下步骤S310至S340：

步骤S310，根据用户基本信息确定用户基本特征。

其中，用户基本信息是指能够反映用户基本属性的信息，例如可以是用户的年龄、性别、喜好、工作属性及类型、居住城市、所使用的终端型号、终端***等用户画像信息。而实际应用中，用户通常会在终端中录入个人的基本信息，例如在游戏App(Application，应用程序)或电商平台的App中输入自己的基本信息，以注册登录或完善个人信息等。基于此，***可以从各App中获取用户的基本信息来进行用户行为预测。

用户基本特征是指用于表征用户基本信息的特征数据，其可以是获取的原始用户基本信息，例如用户年龄、性别等；也可以是基于原始用户基本信息提取或统计得到的数据，例如用户喜好关键字、或用户喜好中出现频率较高的词、或者用户喜好统计数据(如在不同App中出现相同或相似喜好的频次)等；再或者是一个或多个用户基本信息的组合数据等。

为了便于后续处理，本示例性实施例可以对用户基本特征进行处理，具体的，可以对其进行数值化处理或向量化处理，例如将用户性别的“男”和“女”分别转化为“0”和“1”；或者将用户的年龄进行合理的分段，如对(13-17岁)、(18–24岁)、(25–34岁)、(35–44岁)、(45–54岁)、(55–64岁)等年龄段分别进行编码，转换为“0”、“1”、“2”、“3”、“4”、“5”等。此外，本示例性实施例还可以有其他编码方式，例如将对应的数字转换为二进制，或直接使用十进制数值，再或者使用其他字符进行编码等等，本公开对此不做具体限定。

步骤S320，对用户行为信息进行统计，得到行为统计特征。

其中，用于行为信息是指用户进行特定操作的行为数据，例如可以是用户在终端内点击广告、打开或使用App等，也可以是在App或网页内浏览图片、阅读新闻、搜索信息、购买商品、观看视频、听音乐或者下载文件等。对应的，行为统计特征是指基于上述用户行为信息进行统计，得到的特征数据，例如用户浏览商品的频次、观看广告的时间、购买商品的数量或价格等等。在实际应用中，本示例性实施例可以通过获取用户在终端中的历史行为信息来进行统计，也可以通过埋点的方式实时获取用户使用终端的行为数据，并对统计特征进行统计和更新等。

在一示例性实施例中，上述行为统计特征包括第一类行为统计特征；对用户行为信息进行统计，得到行为统计特征，包括：

对预设单位时间内的用户行为信息进行统计，得到第一类行为统计特征。

本示例性实施例可以从时间粒度对用户行为信息进行统计，确定预设单位时间内的用户行为信息的第一类行为统计特征，其中，预设单位时间可以根据需要自定义设置，例如以日粒度确定预设单位时间，可以是一天、两天或三天等；以周粒度确定预设单位时间，可以是一周、两周或三周等；以月粒度确定预设单位时间，可以是一个月、两个月或三个月等，还可以设置季粒度或年粒度下的预设单位时间等。此外，预设单位时间可以是特定某一段时间，例如2020年12月第1周，也可以是以某一时间为基准的一段时间，例如距离当前时间的近一周内等等，本公开对此不做具体限定。第一类行为统计特征是指在上述预设单位时间下统计得到的一种或多种行为信息的统计特征，例如当确定预设单位时间为一周时，可以统计用户一周内点击广告、购买商品、使用App、截图等行为的总次数、平均次数、方差等统计类的特征数据。

在一示例性实施例中，行为统计特征包括第二类行为统计特征；对用户行为信息进行统计，得到行为统计特征，包括：

对预设行为类型下最近一次或多次的用户行为信息进行统计，得到第二类行为统计特征。

预设行为类型可以是指用户行为信息中的任意一种行为类型，例如用户的购买行为、点击浏览广告的行为、收藏商品的行为等，或者是用户最近一次活跃行为的行为类型等。本示例性实施例还可以从行为类型的角度考虑，统计预设行为类型下的用户行为信息，来确定第二类行为统计特征，该第二类行为统计特征可以是时间、价格、次数等统计数据，具体可以根据用户行为的属性确定。统计预设行为类型下最近一次或多次的用户行为信息，也即获取预设行为类型的统计特征数据，例如当预设行为类型为购买行为时，第二类行为统计特征可以是最近一次用户购买商品的行为距离当前时间的天数或小时数等，或者当预设行为类型为点击浏览广告时，第二类行为统计特征可以是最后三次点击浏览广告的行为距离当前时间的天数或小时数，或者最后三次点击浏览广告的行为之间的间隔时间等等。

第二类行为统计特征与第一类行为统计特征虽然均属于用户行为信息的统计特征，但是其统计方式不同，属于不同的两种统计特征，能够从不同的维度对用户行为信息进行统计分析，充分利用用户行为信息获取有效数据，以便于提高后续用户行为预测结果的准确性。

为了保证对用户行为预测的准确性，本示例性实施例还可以在获取用户基本信息和用户行为信息之后，对其进行信息清洗和处理。具体而言，可以将获取的用户基本信息和用户行为信息的数据，通过如SPARK(计算引擎)/HIVE(数据仓库工具)等大数据计算引擎，对其中所包含的乱码数据、错误数据、完整性较差的数据以及其他异常数据等脏数据进行清洗。基于此，以提高用户基本信息和用户行为信息的有效性和准确性，进一步，保证后续信息处理的便捷性和处理结果的准确性。

步骤S330，从用户行为信息中提取行为序列特征。

实际应用中，用户在进行用户行为操作时，不同的行为流程或行为顺序所反映的用户信息是不同的，例如用户打开网页后，浏览信息的顺序或者搜索信息的顺序，能够反映一个用户对信息的感兴趣程度或关心程度；用户每天打开不同App的行为的顺序，能够反映一个用户使用App的习惯和喜好等。因此，本示例性实施例可以从用户行为信息中提取行为序列特征，例如从用户点击浏览广告、使用App、浏览资讯或进行用户搜索等多种用户行为信息中提取行为序列特征。其中，行为序列特征可以是不同类型的用户行为的序列特征，例如用户先浏览新闻，再点击广告，最后购买商品的行为序列特征；也可以是相同类型的用户行为的序列特征，例如用户先打开App1，再打开App2，最后打开App3的App使用的行为序列特征等。在本示例性实施例中，可以通过数据埋点的方式来获取用户行为信息，进而从用户行为信息中提取行为序列特征。

在一示例性实施例中，上述步骤S330可以包括：

在同一行为类型的用户行为信息中提取行为对象，并按照对应的行为时间对行为对象排序，得到行为序列特征。

特别的，本示例性实施例可以针对相同类型下的用户行为，生成行为序列特征。行为对象即用户行为信息中的任意一种具体行为操作，例如可以是点击浏览广告，或者打开或使用App的行为。在确定同一行为类型后，可以从用户行为信息中提取属于该行为类型的所有或部分行为对象，例如确定行为类型为打开App，然后从用户行为信息中提取所有或部分打开App的行为对象，例如打开App1，打开App2等，并按照对应的行为时间对这些行为对象进行排序，以得到行为序列特征，例如得到序列特征“打开App1-打开App2-打开App3”，或者“打开App1-打开App2-打开App1”等。需要说明的是，本示例性实施例可以按照实际需求获取预设时间段内的行为对象，预设时间段越长，确定的序列特征就越长，例如可以确定用户在一小时内使用App的用户行为的序列特征，也可以确定用户在两小时内使用App的用户行为的序列特征等，本公开对此不做具体限定。

考虑到实际应用中，用户会在时间序列上先后使用不同的App，而这些使用App的顺序关系对分析与挖掘用户信息是非常重要的，因此，在一示例性实施例中，在确定统一行为类型下用户行为信息的行为序列特征时，可以确定行为类型为，打开应用程序的行为。

在一示例性实施例中，上述行为序列特征可以是指行为序列中各行为对象的初始编码。例如，打开App1，打开App2等行为序列可以表示为{App1的初始编码，App2的初始编码，...}等，其中，打开App这一行为对象的初始编码可以是one-hot(一位有效编码)编码。

步骤S340，基于用户基本特征、行为统计特征与行为序列特征，确定用户行为预测结果。

进一步的，可以通过用户基本特征、行为统计特征以及行为序列特征，共同确定用户行为预测结果。该用户行为预测结果可以指用户可能会进行特定行为操作的预测结果，例如当用户看到某商品后，是否会购买商品的行为预测结果；或者用户浏览广告后，是否会点进广告链接查看详情或购买商品；或者用户在观看视频或听音乐时，是否会评论或点赞等等。用户行为预测结果也可以是用户行为预测的分类结果，例如当用户浏览商品时，用户会购买商品的概率；用户在观看视频时，可能会发送弹幕或转发视频的概率；或者用户在参与游戏或其他活动时，是否会投入成本，其投入本分的类别为投入较多成本、投入正常成本、投入较低成本或不投入成本中的哪一种，例如预测用户是否为付费用户，是重度付费用户、一般付费用户、可能付费用户和非付费用户中的哪一种等等。

本示例性实施例可以预先训练一机器学***台，针对不同的用户，提供更加具有针对性的服务或产品，从而提高用户体验，例如针对会在观看视频时发送弹幕的用户，可以认为该用户喜欢在社交平台中与人交流，可以投放较多的弹幕，而针对发送弹幕概率较低，或发送较少的用户，投放较少的弹幕，以在提供弹幕信息的同时，为用户提供干净的显示画面；或者针对喜欢参加活动的用户投放较多的活动广告，而对不喜欢参加活动的用户投放较多的活动广告等等。

综上，本示例性实施方式中，根据用户基本信息确定用户基本特征；对用户行为信息进行统计，得到行为统计特征；从用户行为信息中提取行为序列特征；基于用户基本特征、行为统计特征与行为序列特征，确定用户行为预测结果。一方面，本示例性实施例提出一种新的用户行为预测方法，通过用户基本特征、行为统计特征以及行为序列特征多个维度的特征数据确定用户行为预测结果，所分析的特征数据丰富且全面，保证了确定出的用户行为预测结果更为全面、有效；另一方面，本示例性实施例能够对用户行为信息进行充分的利用与挖掘，通过从用户行为信息中提取行为序列特征，基于数据之间的关系，来预测用户行为，预测结果更为准确。

在一示例性实施例中，如图4所示，上述步骤S340可以包括以下步骤：

步骤S410，利用嵌入模型对行为序列特征进行处理，得到对应的行为序列嵌入特征；

步骤S420，利用预测模型对用户基本特征、行为统计特征与行为序列嵌入特征，得到用户行为预测结果。

考虑到，通常的行为序列特征中难以反映其中每一种行为对象的关系与语义，例如在使用one-hot编码方式表示行为对象时，其中所包含的很多维度的数据是没有含义的，为了以更加丰富的数据形式表征行为序列特征，本示例性实施例可以通过嵌入模型对行为序列特征进行处理，生成对应的行为序列嵌入特征。进一步，可以利于预测模型对用户基本特征、行为统计特征和行为序列嵌入特征，得到用户行为预测结果。其中，预测模型可以是神经网络模型、决策树模型或者随机森林模型等，本公开对此不做具体限定。

上述步骤S420中预测模型的训练过程，如图5所示，具体可以包括以下步骤：

步骤S510，获取训练样本数据；

其中，样本数据可以包括，通过大量的样本用户的基本信息和行为信息处理得到的样本用户的基本特征、行为统计特征和行为序列嵌入特征等。本示例性实施例中，还涉及关于正样本和负样本的划分过程，具体可以针对不同类型的用户行为进行划分，例如可以将最近一年经常使用过App或平台提供的产品或服务的用户作为正样本，将不常使用或不使用App或平台提供的产品或服务的用户作为负样本等。为了避免正负样本数据比例差异过大，本示例性实施例还可以基于降低高置信度的样本的损失的思想，使用Focal loss控制损失函数，训练模型，以解决样本不均衡的问题。

步骤S520，从训练样本数据中划分出训练集和测试集；

本示例性实施例可以将训练样本数据按照8:2的比例划分为训练集和测试集。通过训练集来训练预测模型，并通过测试集对训练完成的模型进行测试，以确定其是否能够达到预设效果。

步骤S530，训练预测模型并对预测模型进行优化；

训练预测模型的过程可以是，根据输出结果不断调整模型的参数，以优化预测模型。在模型训练与参数调整的过程中，本示例性实施例可以采用3折交叉验证的方式将训练集再次划分成训练集和验证集进行模型训练和验证，通过训练集训练预测模型，并通过验证集对预测模型进行验证，从而提高模型训练的准确性，当验证未通过时，则可以继续执行预测模型参数的优化过程；当验证通过时，则可以使用训练样本数据再次训练预测模型，并保存模型参数，例如模型权重等。

考虑到用户基本信息和用户行为信息可能会因为时间的变化而出现变化，因此，本示例性实施例可以设置周期性进行预测模型的训练更新，例如模型训练的频度可以根据计算资源的情况来选择周维度或者日维度的训练更新。

步骤S540，得到训练完成的预测模型。

本示例性实施例可以将训练完成的预测模型在测试集上进行效果评估，具体的可以根据模型精确率、召回率和F1(用于衡量模型精确度的一种指标)得分等效果指标进行评估。当效果指标满足预设条件时，得到训练完成的预测模型，用于对用户行为进行预测。

在一示例性实施例中，上述嵌入模型包括第一嵌入子模型与第二嵌入子模型；上述步骤S520，可以包括以下步骤：

利用第一嵌入子模型对行为序列特征进行处理，得到行为序列中各行为对象的嵌入特征；

利用第二嵌入子模型对行为对象的嵌入特征与行为对象的位置特征进行处理，得到行为序列嵌入特征。

本示例性实施例可以通过两阶段的模型处理过程，得到行为序列嵌入特征，先通过第一嵌入子模型对行为序列特征进行初步处理，得到各行为对象的嵌入特征，其中，行为对象即为具体的用户行为，例如打开App，再通过第二嵌入子模型对行为对象的嵌入特征与行为对象的位置特征进行处理，得到行为序列嵌入特征。特别的，在本示例性实施例中，上述第一嵌入子模型可以包括Word2vec模型，上述第二嵌入子模型可以包括BERT模型。

下面，以用户点击或使用App这一用户行为为例，对上述两阶段处理过程进行具体说明。

第一阶段，使用Word2vec模型对行为序列特征进行处理，是为了确定行为序列中各个行为对象的嵌入特征。本示例性实施例可以通过预先设置的埋点数据，获得用户使用App的行为序列特征，然后，通过Word2vec的CBOW模型对行为序列进行处理，得到各个行为对象的嵌入特征，其中，行为对象即指用户每次打开App的行为，考虑到用户打开App的行为序列中，不同的用户行为之间的区别在于App的变化，因此，可以通过App序列来表征用户打开App的行为序列，以对行为序列进行简化。则行为对象的嵌入特征，可以是各App的嵌入特征(embedding特征向量)。

本示例性实施例可以通过大量的行为序列特征预先训练Word2vec的CBOW模型，训练完成的Word2vec的CBOW模型可以用于生成每一个行为对象的嵌入特征，以为BERT模型进行训练提供了一个较好的初始权重。

图6示出了Word2vec的CBOW模型对行为序列特征处理的流程示意图，具体可以包括以下步骤：

步骤S610，向训练完成的Word2vec的CBOW模型中输入多个App的行为序列特征，如App行为序列特征1、App行为序列特征2、…、App行为序列特征n等，使Word2vec的CBOW模型对其进行处理；

步骤S620，确定各App序列中每个App的嵌入特征。

考虑到Word2vec是无监督训练模型，可以使用无标签的训练数据，因此，本示例性实施例可以采用海量的用户使用App的行为序列特征来训练Word2vec的CBOW模型，如图6所示，在训练完成Word2vec的CBOW模型中，当执行步骤S611，在输入层接收到App_t-2、App_t-1、App_t+1、App_t+2的行为序列特征时，CBOW模型可以在隐藏层中可以根据上下文对其进行处理；执行步骤S612，输出App_t。其中，App_t表示用户在t时刻打开的App的行为。

第二阶段，使用BERT模型对各个行为对象的嵌入特征与行为对象的位置特征进行处理，以将行为对象与其对应的位置进行融合，生成具有时序关系的行为序列嵌入特征。

图7示出了BERT模型对行为序列特征进行处理的流程示意图，具体可以包括以下步骤：

步骤S710，获取App的行为序列特征，确定其中各行为序列特征中的行为对象的嵌入特征与各行为对象的位置特征；

步骤S720，将各行为对象的嵌入特征与各行为对象对应的位置特征输入BERT模型；

步骤S730，通过BERT模型进行处理，得到App的行为序列嵌入特征。

其中，用户使用App的行为序列特征，通过第一阶段Word2vec的CBOW模型处理后，就可以得到图7所示的行为对象的嵌入特征，也即App的词向量。然后可以将App的嵌入特征和App的位置特征进行相加的操作提供给BERT进行处理。这里添加App位置特征主要是为了添加序列特征信息，不然仅通过App的嵌入特征会使得BERT训练完全变成一个Bag of word(词袋)模型，也就是如果是同样的几个App产生的序列，不管如何变化得到的App行为序列嵌入特征是一样的，这样无法从用户的行为序列中挖掘出有效信息。

在BERT模型中，App的嵌入特征和App的位置特征相加得到的特征信息可以经过多层Transformer，如图7所示的12层Transformer来提取特征，之后就可以得到App的行为序列嵌入特征。

需要说明的是BERT在训练阶段会生成一个词表，为了能让BERT训练模型可以跑起来，需要控制词表的大小。对于App来说可能会有几百万的量级，如果全部放入词表中模型无法训练起来，所以这里可以根据用户使用App的量级信息统计最近六个月App的使用人数情况，并且会选择将前预设数量(如前20万)的App放入词表中，其他的App则作为未知App进行处理，以保证BERT训练模型可以正常训练与使用。

另外，上述两阶段过程主要是对App等用户行为序列特征进行训练，而像用户搜索和浏览资讯等本身属于文本信息，可以直接使用目前开源已经训练好的BERT预训练权重来生成对应嵌入特征或行为序列嵌入特征等。

在一示例性实施例中，上述预测模型包括融合层、转换层、归一化层；如图8所示，上述步骤S420，可以包括以下步骤：

步骤S810，利用融合层拼接用户基本特征、行为统计特征与行为序列嵌入特征，得到用户综合特征；

步骤S820，利用转换层对用户综合特征进行处理，得到中间特征；

步骤S830，利用归一化层输出中间特征对应的用户行为预测结果。

本示例性实施例可以通过融合层将用户基本特征、行为统计特征与行为序列嵌入特征进行融合，得到用户综合特征，通过转换层对用户综合特征进行处理后，可以得到中间特征，通过归一化层输出中间特征对应的用户行为预测结果。用户行为预测结果可以是对用户可能进行何种行为的预测概率值。

在一示例性实施例中，上述步骤S810可以包括：

利用融合层拼接用户基本特征、行为统计特征与行为序列嵌入特征，并进行池化处理，得到用户综合特征。

本示例性实施例可以将得到用户基本特征、行为统计特征与行为序列嵌入特征进行拼接处理，并基于这三部分特征进行池化操作，得到池化之后的特征。进一步，将拼接处理后的特征和池化操作后的特征再进行拼接得到最终用户综合特征，以实现融合层的特征融合。

图9示出了本示例性实施例中一种用户行为预测方法的模型架构示意图，具体可以包括：

输入层910，用于输入用户基本信息以及用户行为信息；

特征层920，用于将用户基本信息转换为用户基本特征，将用户行为信息转换为行为统计特征，并根据预先训练的Word2vec模型和BERT模型将行为序列特征转换为行为序列嵌入特征；

融合层930，用于将用户基本特征、行为统计特征与行为序列嵌入特征进行拼接，并进行池化处理，得到用户综合特征；

转换层940，利用转换层对用户综合特征进行处理，得到中间特征；

输出层950，利用归一化层输出中间特征对应的用户行为预测结果。

在本示例性实施例中，融合层得到的用户综合特征可以经过两层Transformer进行训练得到中间特征，最后会经过输出层，输出用户行为预测结果，其中，输出层可以是一个全连接softmax层，可以输出用户行为预测的概率值。

本公开的示例性实施方式还提供一种用户行为预测装置。如图10所示，该用户行为预测装置1000可以包括：第一特征确定模块1010，用于根据用户基本信息确定用户基本特征；第二特征确定模块1020，用于对用户行为信息进行统计，得到行为统计特征；第三特征确定模块1030，用于从用户行为信息中提取行为序列特征；预测结果确定模块1040，用于基于用户基本特征、行为统计特征与行为序列特征，确定用户行为预测结果。

在一示例性实施例中，行为统计特征包括第一类行为统计特征；第二特征确定模块，包括：第一类统计特征确定单元，用于对预设单位时间内的用户行为信息进行统计，得到第一类行为统计特征。

在一示例性实施例中，行为统计特征包括第二类行为统计特征；第二特征确定模块，包括：第二类统计特征确定单元，用于对预设行为类型下最近一次或多次的用户行为信息进行统计，得到第二类行为统计特征。

在一示例性实施例中，第三特征确定模块，包括：序列特征提取单元，用于在同一行为类型的用户行为信息中提取行为对象，并按照对应的行为时间对行为对象排序，得到行为序列特征。

在一示例性实施例中，行为类型包括：打开应用程序的行为。

在一示例性实施例中，预测结果确定模块，包括：行为序列嵌入特征确定单元，用于利用嵌入模型对行为序列特征进行处理，得到对应的行为序列嵌入特征；预测结果获得单元，用于利用预测模型对用户基本特征、行为统计特征与行为序列嵌入特征，得到用户行为预测结果。

在一示例性实施例中，嵌入模型包括第一嵌入子模型与第二嵌入子模型；行为序列嵌入特征确定单元，包括：第一处理子单元，用于利用第一嵌入子模型对行为序列特征进行处理，得到行为序列中各行为对象的嵌入特征；第二处理子单元，用于利用第二嵌入子模型对行为对象的嵌入特征与行为对象的位置特征进行处理，得到行为序列嵌入特征。

在一示例性实施例中，第一嵌入子模型包括Word2vec模型，第二嵌入子模型包括BERT模型。

在一示例性实施例中，预测模型包括融合层、转换层、归一化层；预测结果获得单元，包括：用户综合特征获得子单元，用于利用融合层拼接用户基本特征、行为统计特征与行为序列嵌入特征，得到用户综合特征；中间特征获得子单元，用于利用转换层对用户综合特征进行处理，得到中间特征；预测结果输出子单元，用于利用归一化层输出中间特征对应的用户行为预测结果。

在一示例性实施例中，用户综合特征获得子单元，用于利用融合层拼接用户基本特征、行为统计特征与行为序列嵌入特征，并进行池化处理，得到用户综合特征。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5、图6、图7或图8中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (13)

1.一种用户行为预测方法，其特征在于，包括：

根据用户基本信息确定用户基本特征；

对用户行为信息进行统计，得到行为统计特征；

从所述用户行为信息中提取行为序列特征；

基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果。

2.根据权利要求1所述的方法，其特征在于，所述行为统计特征包括第一类行为统计特征；所述对用户行为信息进行统计，得到行为统计特征，包括：

对预设单位时间内的用户行为信息进行统计，得到所述第一类行为统计特征。

3.根据权利要求1所述的方法，其特征在于，所述行为统计特征包括第二类行为统计特征；所述对用户行为信息进行统计，得到行为统计特征，包括：

对预设行为类型下最近一次或多次的用户行为信息进行统计，得到所述第二类行为统计特征。

4.根据权利要求1所述的方法，其特征在于，所述从所述用户行为信息中提取行为序列特征，包括：

在同一行为类型的用户行为信息中提取行为对象，并按照对应的行为时间对所述行为对象排序，得到所述行为序列特征。

5.根据权利要求4所述的方法，其特征在于，所述行为类型包括：打开应用程序的行为。

6.根据权利要求1所述的方法，其特征在于，所述基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果，包括：

利用嵌入模型对所述行为序列特征进行处理，得到对应的行为序列嵌入特征；

利用预测模型对所述用户基本特征、所述行为统计特征与所述行为序列嵌入特征，得到所述用户行为预测结果。

7.根据权利要求6所述的方法，其特征在于，所述嵌入模型包括第一嵌入子模型与第二嵌入子模型；所述利用嵌入模型对所述行为序列特征进行处理，得到对应的行为序列嵌入特征，包括：

利用所述第一嵌入子模型对所述行为序列特征进行处理，得到所述行为序列中各行为对象的嵌入特征；

利用所述第二嵌入子模型对所述行为对象的嵌入特征与所述行为对象的位置特征进行处理，得到所述行为序列嵌入特征。

8.根据权利要求7所述的方法，其特征在于，所述第一嵌入子模型包括Word2vec模型，所述第二嵌入子模型包括BERT模型。

9.根据权利要求6所述的方法，其特征在于，所述预测模型包括融合层、转换层、归一化层；所述利用预测模型对所述用户基本特征、所述行为统计特征与所述行为序列嵌入特征，得到所述用户行为预测结果，包括：

利用所述融合层拼接所述用户基本特征、所述行为统计特征与所述行为序列嵌入特征，得到用户综合特征；

利用所述转换层对所述用户综合特征进行处理，得到中间特征；

利用所述归一化层输出所述中间特征对应的用户行为预测结果。

10.根据权利要求9所述的方法，其特征在于，所述利用所述融合层拼接所述用户基本特征、所述行为统计特征与所述行为序列嵌入特征，得到用户综合特征，包括：

利用所述融合层拼接所述用户基本特征、所述行为统计特征与所述行为序列嵌入特征，并进行池化处理，得到所述用户综合特征。

11.一种用户行为预测装置，其特征在于，包括：

第一特征确定模块，用于根据用户基本信息确定用户基本特征；

第二特征确定模块，用于对用户行为信息进行统计，得到行为统计特征；

第三特征确定模块，用于从所述用户行为信息中提取行为序列特征；

预测结果确定模块，用于基于所述用户基本特征、所述行为统计特征与所述行为序列特征，确定用户行为预测结果。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。

13.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10任一项所述的方法。

Images