CN114880578A - 用户行为数据处理方法、装置、设备及存储介质 - Google Patents
用户行为数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114880578A CN114880578A CN202210622588.9A CN202210622588A CN114880578A CN 114880578 A CN114880578 A CN 114880578A CN 202210622588 A CN202210622588 A CN 202210622588A CN 114880578 A CN114880578 A CN 114880578A
- Authority
- CN
- China
- Prior art keywords
- target
- feature vector
- user
- behavior data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种用户行为数据处理方法、装置、设备及存储介质。该方法包括:获取目标任务;目标任务包括待训练的AI模型所需的目标特征向量,目标特征向量为目标用户的多个特征向量的组合特征;若特征向量库中不存在AI模型所需的目标特征向量,则根据AI模型所需的目标特征向量,在特征向量库中获取目标主体的多个特征向量;特征向量库包括预先构建的多个特征向量,多个特征向量是根据不同渠道的用户行为数据得到的向量;将多个特征向量进行组合,得到目标特征向量;根据目标特征向量训练AI模型,得到训练好的AI模型。本申请提高了特征开发效率。
Description
技术领域
本申请涉及人工智能技术,尤其涉及一种用户行为数据处理方法、装置、设备及存储介质。
背景技术
数据特征对于人工智能(Artificial Intelligence,AI)学习具有重要作用。好的数据特征可以提高模型准确率,而好的算法模型只是不断地逼近该模型。
目前,对于一个模型,如果其需要多方面的业务行为特征,那么就需要进行人工特征工程。而如果另外一个模型,需要用到另外一业务行为特征,即使与已有模型存在部分重叠的业务行为特征,也需要重新进行特征工程,这会造成重复工作,导致特征开发效率低。
发明内容
本申请提供一种用户行为数据处理方法、装置、设备及存储介质,用以解决特征开发效率低的问题。
第一方面,本申请提供一种用户行为数据处理方法,包括:获取目标任务;所述目标任务包括待训练的AI模型所需的目标特征向量,所述目标特征向量为目标用户的多个特征向量的组合特征;若所述特征向量库中不存在所述AI模型所需的目标特征向量,则根据所述AI模型所需的目标特征向量,在特征向量库中获取所述目标用户的多个特征向量;所述特征向量库包括预先构建的多个特征向量,所述多个特征向量是根据不同渠道的用户行为数据得到的向量;将所述多个特征向量进行组合,得到所述目标特征向量;根据所述目标特征向量训练所述AI模型,得到训练好的AI模型。
可选的,所述根据所述AI模型所需的目标特征向量,在特征向量库中获取所述多个特征向量之前,所述方法还包括:获取待构建特征向量的目标用户的样本数据;所述目标用户的样本数据包括所述目标用户的标识和所述目标用户的行为数据,所述目标用户的标识和所述目标用户的行为数据为非耦合数据;从所述样本数据中提取所述目标用户的标识,得到所述待构建特征向量的样本标识;根据所述待构建特征向量的样本标识,从所述样本数据中提取所述目标用户的行为数据;对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量。
可选的,所述获取待构建特征向量的目标用户的样本数据,包括:获取待构建特征向量的目标用户的原始数据;所述原始数据包括所述目标用户的标识和所述目标用户的原始行为数据;所述目标用户的标识和所述目标用户的原始行为数据为耦合数据;对所述目标用户的标识和所述目标用户的原始行为数据进行特征解耦处理,得到所述目标用户的样本数据。
可选的,所述对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量,包括:确定所述目标用户的行为数据的数据类型;所述数据类型包括字符类型、数字类型和分类类型;若所述目标用户的行为数据的数据类型为字符类型,则通过第一编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第一特征向量;所述第一编码方式为用于字符类型的行为数据的编码方式;若所述目标用户的行为数据的数据类型为数字类型,则通过第二编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第二特征向量;所述第二编码方式为用于数字类型的行为数据的编码方式;若所述目标用户的行为数据的数据类型为分类类型,则通过第三编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第三特征向量;所述第三编码方式为用于分类类型的行为数据的编码方式。
可选的,所述特征向量库还包括预先存储的多个目标特征向量,所述方法还包括:确定所述特征向量库中是否存在所述AI模型所需的目标特征向量;若所述特征向量库中存在所述AI模型所需的目标特征向量,则从所述目标特征库中获取所述AI模型所需的目标特征向量。
可选的,所述确定所述特征向量库中是否存在所述AI模型所需的目标特征向量之前,所述方法还包括:确定目标特征向量的存储价值;根据所述目标特征向量的存储价值,对所述目标特征向量按照存储价值从大到小的顺序进行排序;将排序靠前的N个目标特征向量存储至所述特征向量库。
可选的,所述确定目标特征向量的存储价值,包括:确定所述目标特征向量用于AI模型训练的使用频率和组合成本;其中,所述组合成本为对构建目标特征向量的多个特征向量进行组合所耗费的时间;根据所述目标特征向量的使用频率和组合成本的加权和,确定所述目标特征向量的存储价值。
可选的,所述目标特征向量为所述用户对提款平台的使用行为数据;所述多个特征向量为根据所述用户的不同提款平台的使用行为数据构建的特征向量;所述AI模型为用于根据所述目标特征向量和标签预测用户的提款率的模型,所述提款率用于表征用户的提款概率,所述标签用于表征所述用户是否提款。
第二方面,本申请提供一种用户行为数据处理装置,包括:获取模块,用于获取目标任务;所述目标任务包括待训练的AI模型所需的目标特征向量,所述目标特征向量为目标用户的多个特征向量的组合特征;所述获取模块,还用于若所述特征向量库中不存在所述AI模型所需的目标特征向量,则根据所述AI模型所需的目标特征向量,在特征向量库中获取目标用户的多个特征向量;所述特征向量库包括预先构建的多个特征向量,所述多个特征向量是根据不同渠道的用户行为数据得到的向量;组合模块,用于将所述多个特征向量进行组合,得到所述目标特征向量;训练模块,用于根据所述目标特征向量训练所述AI模型,得到训练好的AI模型。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法。
本申请提供的用户行为数据处理方法、装置、设备及存储介质,通过在特征向量库中未查找到AI模型所需的目标特征向量时,根据AI模型所需的目标特征向量,在特征向量库中查找目标用户的多个特征向量,并将多个特征向量组合后用于训练AI模型;由于特征向量库中包括预先构建的多个特征向量,且多个特征向量是根据不同渠道的用户行为数据得到的向量,因此,在遇到不同模型所使用的目标特征向量存在部分重合特征时,对该重合特征进行一次特征开发,即可实现不同模型对重合特征的复用,避免特征重复开发,提高特征开发效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的用户行为数据处理方法的流程图一;
图3为本申请实施例提供的特征向量组合的示例图;
图4为本申请实施例提供的构建特征向量库的流程图;
图5为本申请实施例提供的用户行为数据处理方法的流程图二;
图6为本申请实施例提供的用户行为数据处理装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
机器学习被定义为利用经验来改善计算机***的自身性能,经验在计算机中主要是以数据的形式存在,因此,数据是机器学习的前提和基础。
当我们希望预测模型性能达到最佳时,其需要尽可能的从原始数据中获取更多的信息,而从原始数据中获取更多的信息的目的就是获取更好的训练数据,即人工地设计模型的输入变量X。
特征工程就是将一个原始数据转变成特征的工程,这些特征可以很好地描述该些数据,并且利用它们建立的模型在未知数据上的表现性能可以达到最优。
在进行机器学***台的使用行为数据。这些属性数据是数据集的特性。创建数据集的任务就是从原始数据中了解有用的特性,并从对结果有影响的现有特性中创建新特性,或者操作这些特性,使它们可以用于建模或增强结果。这一过程称为特征工程。
图1为本申请实施例提供的一种应用场景示意图。如图1所示,可以将用户的特征,例如提款应用程序(Application,APP)的使用行为数据和提款公众号的使用行为数据的提款行为数据等,输入到电子设备待训练的模型A中,对模型A进行训练。训练好的模型A可以用于预测用户的提款率,以预测用户的提款概率,从而对用户进行提款信息的推荐。
在上述过程中,提款APP的使用行为数据和提款公众号的使用行为数据,需要分别从提款APP和提款公众号获取用户的使用行为数据,之后将提款APP的使用行为数据和提款公众号的使用行为数据进行合并,并对合并后的使用行为数据进行特征编码,最终得到用于训练模型A的训练数据。
此时,若存在另一模型B,在构建训练数据时,需要使用用户A的提款公众号的使用行为数据和提款小程序的使用行为数据,则需要分别从提款公众号和提款小程序获取用户的使用行为数据,以及合并提款公众号的使用行为数据和提款小程序的使用行为数据,并针对合并后的使用行为数据进行特征编码,最终得到用于训练模型B的训练数据。
可以看出,在针对模型B构建训练数据时,虽然模型B与模型A存在部分重合特征,但是针对模型B所需要的特征仍然需要重新进行特征开发,这就导致模型A和模型B的部分重合特征,例如提款公众号的使用行为数据重复地进行特征开发,导致特征开发效率低。
针对上述技术问题,本申请实施例提供的一种用户行为数据处理方法,可以针对每个用户的每个特征构建一特征向量,并将构建好的特征向量存储在特征向量库中,在获取待训练的AI模型所需的目标特征向量为组合特征时,若从特征向量库中未查找到该目标特征向量时,从特征向量库中获取用于构成目标特征向量的各个待组合的特征向量,并将各个特征向量进行组合,得到目标特征向量,就可以根据该目标特征向量对待训练的AI模型进行训练。从特征向量库中获取用于构成目标特征向量的各个待组合的特征向量,并将各个特征向量进行组合,得到目标特征向量,可以对特征向量进行复用,不需要重复开发,提高特征开发效率。
下面结合附图,以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的用户行为数据处理方法的流程图一。如图2所示,该用户行为数据处理方法,包括如下步骤:
S201、获取目标任务;目标任务包括待训练的AI模型所需的目标特征向量,目标特征向量为目标用户的多个特征向量的组合特征。
本实施例中方法的执行主体可以为任意具有数据处理功能的设备。
其中,目标任务是指用户需求的AI模型具备的功能。可选的,目标任务可以是提款率预测任务等。
可选的,目标用户可以为目标任务的分析对象,可以是个人用户或者企业用户等。
目标用户的目标特征向量是待训练的AI模型所需要的训练数据,可以理解为是目标用户的属性的特征化表达,其是目标用户的特点的象征和标志,是与其他用户进行区分的关键。
用户可以通过电子设备输入待训练的AI模型所需的目标特征向量,以及组成该目标特征向量的多个特征向量。
在一些场景中,目标特征向量可以是用户对提款平台的使用行为数据,多个特征向量为根据用户的不同提款平台的使用行为数据构建的特征向量。
S202、若特征向量库中不存在AI模型所需的目标特征向量,根据AI模型所需的目标特征向量,在特征向量库中获取目标用户的多个特征向量;特征向量库包括预先构建的多个特征向量,多个特征向量是根据不同渠道的用户行为数据得到的向量。
当电子设备获取到目标任务时,会根据AI模型所需要的目标特征向量,在特征向量库中查找是否存在可以直接使用的目标特征向量。若在特征向量库中未查找到可以直接使用的目标特征向量时,则在特征向量库中查找用于组成该目标特征向量的多个特征向量。
图3为本申请实施例提供的特征向量组合的示例图。如图3所示,假设目标特征向量为用户A的提款APP、提款公众号和提款小程序的使用行为数据,而在特征向量库中未查找到用户A的提款APP、提款公众号和提款小程序的使用行为数据对应的特征向量,则是在特征向量库中分别查找用户A的提款APP的使用行为数据对应的特征向量、提款公众号的使用行为数据对应的特征向量和提款小程序的使用行为数据对应的特征向量。
S203、将多个特征向量进行组合,得到目标特征向量。
当在特征向量库中查找到多个特征向量时,可以将多个特征向量组合,作为目标特征向量。
请继续参阅图3,是将用户A的提款APP的使用行为数据对应的特征向量、提款公众号的使用行为数据对应的特征向量和提款小程序的使用行为数据对应的特征向量进行组合,得到用户A的目标特征向量。
S204、根据目标特征向量训练AI模型,得到训练好的AI模型。
请继续参阅图3,本步骤是将目标特征向量作为AI模型的训练数据输入AI模型,对该AI模型进行训练,具体的训练过程可以参见相关技术中AI模型的训练过程,本实施例在此不再详细说明。
其中,目标特征向量和标签作为AI模型的训练数据对AI模型进行训练,以预测用户的提款率,标签用于表征用户是否提款,提款率用于表征用户的提款概率。
本实施例通过在特征向量库中未查找到AI模型所需的目标特征向量时,根据AI模型所需的目标特征向量,在特征向量库中查找目标主体的多个特征向量,并将多个特征向量组合后用于训练AI模型;由于特征向量库中包括预先构建的多个特征向量,且多个特征向量是根据不同渠道的用户行为数据得到的向量,因此,在遇到不同模型所使用的目标特征向量存在部分重合特征时,对该重合特征进行一次特征开发,即可实现不同模型对重合特征的复用,避免特征重复开发,提高特征开发效率。
上述实施例中介绍了特征向量库的使用过程,而在应用特征向量库选择特征向量之前,还需要构建特征向量库。下面将结合附图,对如何构建特征向量库进行介绍:
图4为本申请实施例提供的构建特征向量库的流程图。如图4所示,构建特征向量库,可以包括:
S401、获取待构建特征向量的目标用户的样本数据;目标用户的样本数据包括目标用户的标识和目标用户的行为数据,目标用户的标识和目标用户的行为数据为非耦合数据。
其中,目标用户是用户将要构建特征向量的主体,在一些场景中,目标用户的行为数据为用户在提款平台上的使用行为数据。
用户在提款平台上的使用行为数据包括用户对提款APP、提款公众号或提款小程序的页面的点击次数和停留时间等。
其中,获取待构建特征向量的目标用户的样本数据,包括:获取待构建特征向量的目标用户的来自APP的样本数据、来自公众号的样本数据和来自小程序的样本数据。样本数据包括目标用户的标识和目标用户在提款平台上的使用行为数据。
当目标用户的标识和目标用户的行为数据为非耦合数据时,可以针对目标用户的标识和目标用户的行为数据进行单独提取。
S402、从样本数据中提取目标用户的标识,得到待构建特征向量的样本标识。
目标用户的标识是唯一表征该目标用户的信息。对于企业用户来说,目标用户的标识可以是企业名称。对于个人用户而言,目标用户的标识可以是用户的姓名、手机号或身份证号等可以唯一标识该用户的信息。
S403、根据待构建特征向量的样本标识,从样本数据中提取目标用户的行为数据。
步骤S402和步骤S403分别针对目标用户的标识和行为数据进行提取,以便于后续针对每个行为数据单独进行特征编码。
其中,样本特征是指待进行特征编码的行为数据。
在一些场景中,根据待构建特征向量的样本标识,从样本数据中提取目标用户的行为数据,可以是根据待构建特征向量的样本标识,从提款APP的样本数据中提取用户的提款行为数据,或者从提款公众号的样本数据中提取用户的提款行为数据,或者从提款小程序的样本数据中提取用户的提款行为数据。
S404、对目标用户的行为数据进行特征编码,得到目标用户的特征向量。
通过步骤S401-S403获取的目标用户的行为数据为最原始的数据集,可能会包含各种非数字的特殊符号,例如文字,而AI模型训练需要的数据是数字型的,因此,对于各种特殊的行为数据,需要对其进行编码,也就是量化的过程,从而将其转换为计算机能够识别的数据。
本实施例中,可选的,是对用户的提款APP的使用行为数据、提款公众号的使用行为数据和提款小程序的使用行为数据分别进行特征编码,得到用户的提款APP的使用行为特征向量、提款公众号的使用行为特征向量和提款小程序的使用行为特征向量。
在本申请的一个或多个实施例中,可选的,步骤S401可以包括:
步骤a1、获取待构建特征向量的目标用户的原始数据;原始数据包括目标用户的标识和目标用户的原始行为数据;目标用户和目标用户的原始行为数据为耦合数据。
其中,目标用户和目标用户的原始行为数据之间相耦合,当提取目标用户的标识时,会同时将目标用户的原始行为数据提取出来,并且在特征编码时,也只能对目标用户和目标用户的原始行为数据同时进行编码。
步骤a2、对目标用户的标识和目标用户的原始行为数据进行特征解耦处理,得到目标用户的样本数据。
特征解耦是将目标用户和目标用户的原始行为数据进行分离,当目标用户的原始行为数据为多个时,可以将多个原始行为数据进行分离,使得各个原始行为数据之间相互独立,如此,便可以从样本数据中单独提取每个原始行为数据进行特征编码。
在本申请的一个或多个实施例中,可选的,步骤S404可以包括:
步骤b1、确定目标用户的行为数据的数据类型;数据类型包括字符类型、数字类型和分类类型。
步骤b2、若目标用户的行为数据的数据类型为字符类型,则通过第一编码方式对目标用户的行为数据进行编码,得到目标用户的第一特征向量;第一编码方式为用于字符类型的行为数据的编码方式。
可选的,第一编码方式可以是Index编码,Index编码主要用于对离散的类型特征进行编码,例如,不连续的数值、文本,以将离散的特征转换成连续的数值型变量。基于索引的编码可以起到数据归一化的作用。
步骤b3、若目标用户的行为数据的数据类型为数字类型,则通过第二编码方式对目标用户的行为数据进行编码,得到目标用户的第二特征向量;第二编码方式为用于数字类型的行为数据的编码方式。
可选的,第二编码方式可以是分箱(bucket),其是将一个连续的特征转换成多个二元特征的过程,通常基于数值区间进行转换。举例来说,当目标用户的行为数据为18,分箱包括编号为0的箱子[0,10)和编号为1的箱子[10,20),则根据分箱技术就会将18分到编号为1的箱子里。
步骤b4、若目标用户的行为数据的数据类型为分类类型,则通过第三编码方式对目标用户的行为数据进行编码,得到目标主体的第三特征向量;第三编码方式为用于分类类型的行为数据的编码方式。
可选的,第三编码方式可以是独热编码(onehot编码),其是使用N位状态寄存器对N个状态进行编码,每个状态都有其独立的寄存器位,并且在任意时候,其中只有一位有效。
可以理解为,对于每一个行为数据,如果其存在m个可能的取值,则经过独热编码后,就会得到m个二元特征,并且,这些特征之间互斥,每一次只有一个特征被激活。独热编码能够很好地解决分类器不好处理的行为数据的问题,并在在一定程度上起到扩充特征的作用。
本实施例通过对不同类型的行为数据采用不同的编码方式进行特征编码,而针对每种类型的行为数据采用统一的特征编码方式,从而使得在进行特征组合时,便于将各个特征向量组合。
上述实施例中介绍了将各个相互独立的行为数据进行特征编码,得到特征向量,并存储在特征向量库中,当需要目标特征向量时,在特征向量库中查找构成目标特征向量的多个特征向量,并将查找到的多个特征向量进行组合得到目标特征向量的实现过程。而在实际中,不同的AI模型所需要的训练数据可能是相同的,若针对每个AI模型,都从特征向量库中选择特征向量进行组合,则会产生特征向量重复组合的过程,导致训练数据的生成效率较低,影响模型训练效率。基于此,本申请在获取到目标任务时,还可以确定特征向量库中是否存在AI模型所需的目标特征向量;若特征向量库中存在AI模型所需的目标特征向量,则从目标特征库中获取AI模型所需的目标特征向量。
在确定特征向量库中是否存在AI模型所需的目标特征向量之前,可以在特征向量库中预先存储一部分目标特征向量,当获取到目标任务时,可以首先在特征向量库中查找是否存在该目标任务所需的目标特征向量。当特征向量库中存在可以直接使用的目标特征向量时,则直接从特征向量库中获取该目标特征向量,能够减少特征组合的过程,提高训练数据的生成效率,进而提高模型训练效率。
在本申请的一个或多个实施例中,可选的,确定特征向量库中是否存在AI模型所需的目标特征向量之前,还包括:确定目标特征向量的存储价值;根据目标特征向量的存储价值,对目标特征向量按照存储价值从大到小的顺序进行排序;将排序靠前的N个目标特征向量存储至特征向量库。
在一些实施方式中,可选的,确定目标特征向量的存储价值,包括:确定目标特征向量用于AI模型训练的使用频率和组合成本;其中,组合成本用于表示对构建目标特征向量的多个特征向量进行组合所耗费的时间;根据目标特征向量的使用频率和组合成本的加权和,确定该目标特征向量的存储价值。
上述实施方式可以表示为如下公式(1):
v=a*f+b*t; (1)
式(1)中,v表示目标特征向量的存储价值;f表示目标特征向量的使用频率,其可以根据一段时间内的使用次数和使用时长的比值来确定;t表示对构建目标特征向量的多个特征向量进行组合所耗费的时间;a和b分别为权重,且a和b之和为1。
在本申请的一个或多个实施例中,可选的,确定特征向量库中是否存在AI模型所需的目标特征向量之前,还包括:记录目标特征向量用于AI模型训练的使用次数;若目标特征向量的使用次数大于预设次数,则将目标特征向量存储至特征向量库。或者,还可以记录目标特征向量用于AI模型训练的使用频率;若目标特征向量的使用频率大于预设频率,则将目标特征向量存储至特征向量库。
以使用次数为例,本实施例中,当获取到目标任务时,无论是根据目标任务从特征向量库中获取目标特征向量,还是根据目标任务从特征向量库中获取多个特征向量,并组合为目标特征向量,均将目标特征向量的使用次数进行加1操作。
当目标特征向量的使用次数大于预设次数时,则表明该目标特征向量被多次用于AI模型的训练,因此,为了避免每次都从特征向量库中获取多个特征向量,并组合为目标特征向量的重复操作,可以将目标特征向量存储至特征向量库。并在后续获取到目标任务时,首先从特征向量库中查找是否存在可以直接使用的目标特征向量。
在本申请的一个或多个实施例中,可选的,确定特征向量库中是否存在AI模型所需的目标特征向量之前,还包括:记录目标特征向量用于AI模型训练的使用次数;根据目标特征向量用于AI模型训练的使用次数,对目标特征向量按照使用次数从大到小的顺序进行排序;将排序靠前的N个目标特征向量存储至特征向量库。或者,还可以记录目标特征向量用于AI模型训练的使用频率;根据目标特征向量用于AI模型训练的使用频率,对目标特征向量按照使用频率从大到小的顺序进行排序;将排序靠前的N个目标特征向量存储至特征向量库。
随着特征向量库的使用,会有越来越多的特征向量被组合,得到越来越多的目标特征向量,这些目标特征向量中有一些可能用于AI模型训练的使用次数较多,也有一些可能用于AI模型训练的使用次数较少,为了避免每次都从特征向量库中获取多个特征向量,并组合为目标特征向量的重复操作,可以将使用次数或者使用频率较高的N个目标特征向量存储至特征向量库。并在后续获取到目标任务时,首先从特征向量库中查找是否存在可以直接使用的目标特征向量。
图5为本申请实施例提供的用户行为数据处理方法的流程图二。如图5所示,该用户行为数据处理方法可以包括以下四个流程:创建样本、抽取特征、特征编码和特征组合。下面分别进行说明。
S501、创建样本。
可选的,是从原始数据中,提取待创建的特征向量所需要的样本数据的id。例如,对于企业金融业务而言,样本id可以是满足某种条件的企业名称列表。另外,每个样本数据除了样本id之外,还对应有时间点,在特征计算时,可以基于时间点,筛选出某一时间段的特征数据进行计算。
S502、抽取特征。
针对样本数据中的每个样本数据的id和时间点,以及对于每种业务行为,是从原始表中抽取这些行为的特征,形成一系列的行为特征。当前,该些行为特征只有原始值。例如,对于贷款业务的用户提款行为,是一个用户的提款行为特征数据,其行为特征包括提款次数,值可以是3次。
S503、特征编码。
针对抽取的特征进行特征编码时,编码方式可以包括index、bucket和onehot。其中,index是将类别型特征的原始值进行索引,比如针对城市字段,特征原始值是深圳,index为数字0。bucket指分桶,将数字分到不同的桶里,比如桶是[0,10),[10,20),桶从0开始编号,其中,[0,10)为0号桶,[10,20)为1号桶,则18就会被分到第二个桶,取值1。onehot指独热编码。
可选的,特征编码还包括:将多个字段聚合成一个向量。比如两个字段及其取值分别为:city:0,age:1,聚合后的特征向量则为:[0,1]。
S504、特征组合。
在特征组合过程中,可以根据目标任务所需要的多个特征向量,在特征向量库中选择多个特征向量,并进行组合,得到用于AI模型训练的目标特征向量。
S505、分析或建模。
组合后的目标特征向量可以进行数据分析类应用或建模类应用,以挖掘数据的价值,使其对业务进行指导。
下面结合几个示例,描述本申请实施例提供的用户行为数据处理方法在实际中的应用。
在一些可选的示例中,本申请实施例可以提供一种提款行为数据处理方法,具体包括:
步骤A1、获取目标任务;目标任务包括待训练的提款率预测模型所需的目标特征向量,目标特征向量为根据用户对不同渠道的提款平台的使用行为数据得到的,且用于表示用户的提款行为特征的向量。
步骤A2、若特征向量库中不存在待训练的提款率预测模型所需的目标特征向量,则根据待训练的提款率预测模型所需的目标特征向量,在特征向量库中获取用户的多个特征向量;特征向量库包括预先构建的多个特征向量,多个特征向量为根据用户的不同提款平台的使用行为数据构建的特征向量。
步骤A3、将用户的多个特征向量进行组合,得到用户的目标特征向量。
步骤A4、根据用户的目标特征向量和标签训练待训练的提款率预测模型,得到训练好的提款率预测模型;其中,提款率用于表征用户的提款概率,标签用于表征用户是否提款。
在另一些可选的示例中,本申请实施例还可以提供一种贷款行为数据处理方法,具体包括:
步骤B1、获取目标任务;目标任务包括待训练的逾期率预测模型所需的目标特征向量,目标特征向量为根据用户的不同渠道的贷款平台的行为数据得到的组合向量。
本步骤中,可选的,不同渠道包括APP渠道、公众号渠道、电销渠道等。
步骤B2、若特征向量库中不存在待训练的逾期率预测模型所需的目标特征向量,则根据待训练的逾期率预测模型所需的目标特征向量,在特征向量库中获取用户的多个特征向量;特征向量库包括预先构建的多个特征向量,多个特征向量为根据用户的不同渠道的行为数据构建的特征向量;
步骤B3、将用户的多个特征向量进行组合,得到用户的目标特征向量。
步骤B4、根据用户的目标特征向量和标签训练待训练的逾期率预测模型,得到训练好的逾期率预测模型;其中,逾期率用于表征用户的还款逾期概率,标签用于表征用户是否逾期。
在又一些可选的示例中,本申请实施例还可以提供一种用户行为数据处理方法,具体包括:
步骤C1、获取目标任务;目标任务包括待训练的信息推荐模型所需的目标特征向量,目标特征向量为根据用户的不同渠道的信息使用行为得到的组合向量。
本步骤中,可选的,不同渠道的信息使用行为包括APP渠道、公众号渠道、电销渠道的信息浏览行为和信息点击行为。
以银行业务为例,用户在银行APP、银行公众号和银行电销***的网页上的信息浏览行为和信息点击行为均可以为用户在不同渠道的信息使用行为。
步骤C2、若特征向量库中不存在待训练的信息推荐模型所需的目标特征向量,则根据待训练的信息推荐模型所需的目标特征向量,在特征向量库中获取用户的多个特征向量;特征向量库包括预先构建的多个特征向量,多个特征向量为根据用户的不同渠道的信息使用行为构建的特征向量;
步骤C3、将用户的多个特征向量进行组合,得到用户的目标特征向量。
步骤C4、根据用户的目标特征向量和标签训练待训练的信息推荐模型,得到训练好的信息推荐模型;其中,标签用于表征用户是否点击该信息。
其中,训练好的信息推荐模型可以用于为用户进行信息推荐。
应理解,本实施例的信息推荐模型在用于信息推荐时,其信息可以是广告信息、商品信息、新闻信息等。另外,应理解,以上示例均为举例说明,本实施例的用户行为数据处理方法,可以适用任何可以将特征分成模块并再组合的场景。
图6为本申请实施例提供的用户行为数据处理装置的结构示意图。如图6所示,该用户行为数据处理装置,包括:第一获取模块61、第二获取模块62、组合模块63和训练模块64;其中,第一获取模块61,用于获取目标任务;所述目标任务包括待训练的AI模型所需的目标特征向量,所述目标特征向量为目标用户的多个特征向量的组合特征;第二获取模块62,还用于在所述特征向量库中不存在所述AI模型所需的目标特征向量时,根据所述AI模型所需的目标特征向量,在特征向量库中获取所述目标主体的多个特征向量;所述特征向量库包括预先构建的多个特征向量,所述多个特征向量是根据不同渠道的用户行为数据得到的向量;组合模块63,用于将所述多个特征向量进行组合,得到所述目标特征向量;训练模块64,用于根据所述目标特征向量训练所述AI模型,得到训练好的AI模型。
可选的,该装置还包括:提取模块65和编码模块66;第一获取模块61,还用于获取待构建特征向量的目标用户的样本数据;所述目标用户的样本数据包括所述目标用户的标识和所述目标用户的行为数据,所述目标用户的标识和所述目标用户的行为数据为非耦合数据;提取模块65,用于从所述样本数据中提取所述目标用户的标识,得到所述待构建特征向量的样本标识;提取模块65,还用于根据所述待构建特征向量的样本标识,从所述样本数据中提取所述目标用户的行为数据;编码模块66,用于对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量。
可选的,所述第一获取模块61获取待构建特征向量的目标用户的样本数据,包括:获取待构建特征向量的目标用户的原始数据;所述原始数据包括所述目标用户的标识和所述目标用户的原始行为数据;所述目标用户的标识和所述目标用户的原始行为数据为耦合数据;对所述目标用户的标识和所述目标用户的原始行为数据进行特征解耦处理,得到所述目标用户的样本数据。
可选的,所述编码模块66对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量,具体包括:确定所述目标用户的行为数据的数据类型;所述数据类型包括字符类型、数字类型和分类类型;若所述目标用户的行为数据的数据类型为字符类型,则通过第一编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第一特征向量;所述第一编码方式为用于字符类型的行为数据的编码方式;若所述目标用户的行为数据的数据类型为数字类型,则通过第二编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第二特征向量;所述第二编码方式为用于数字类型的行为数据的编码方式;若所述目标用户的行为数据的数据类型为分类类型,则通过第三编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第三特征向量;所述第三编码方式为用于分类类型的行为数据的编码方式。
可选的,所述特征向量库还包括预先存储的多个目标特征向量,该装置还包括:确定模块67,用于确定所述特征向量库中是否存在所述AI模型所需的目标特征向量;所述第二获取模块62,还用于在所述特征向量库中存在所述AI模型所需的目标特征向量时,从所述目标特征库中获取所述AI模型所需的目标特征向量。
可选的,该装置还包括:排序模块68和存储模块69;所述确定模块67,还用于确定目标特征向量的存储价值;排序模块68,用于根据所述目标特征向量的存储价值,对所述目标特征向量按照存储价值从大到小的顺序进行排序;存储模块69,用于将排序靠前的N个目标特征向量存储至所述特征向量库。
可选的,所述确定模块67确定目标特征向量的存储价值,具体包括:确定所述目标特征向量用于AI模型训练的使用频率和组合成本;其中,所述组合成本为对构建目标特征向量的多个特征向量进行组合所耗费的时间;根据所述目标特征向量的使用频率和组合成本的加权和,确定所述目标特征向量的存储价值。
可选的,所述目标特征向量为所述用户对提款平台的使用行为数据;所述多个特征向量为根据所述用户的不同提款平台的使用行为数据构建的特征向量;所述AI模型为用于根据所述目标特征向量和标签预测用户的提款率的模型,所述提款率用于表征用户的提款概率,所述标签用于表征所述用户是否提款。
本申请实施例提供的用户行为数据处理装置,可用于执行上述实施例中用户行为数据处理方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,训练模块64可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上训练模块64的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图7为本申请实施例提供的电子设备的结构示意图。如图7所示,该电子设备可以包括:收发器71、处理器72、存储器73。
处理器72执行存储器存储的计算机执行指令,使得处理器72执行上述实施例中的方案。处理器72可以是通用处理器,包括中央处理器CPU、网络处理器(network processor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器73通过***总线与处理器72连接并完成相互间的通信,存储器73用于存储计算机程序指令。
收发器71可以用于获取目标任务。
***总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。***总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中用户行为数据处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行上述实施例中用户行为数据处理方法的技术方案。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,其存储在计算机可读存储介质中,至少一个处理器可以从计算机可读存储介质读取计算机程序,至少一个处理器执行计算机程序时可实现上述实施例中用户行为数据处理方法的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种用户行为数据处理方法,其特征在于,包括:
获取目标任务;所述目标任务包括待训练的AI模型所需的目标特征向量,所述目标特征向量为目标用户的多个特征向量的组合特征;
若所述特征向量库中不存在所述AI模型所需的目标特征向量,则根据所述AI模型所需的目标特征向量,在特征向量库中获取所述目标用户的多个特征向量;所述特征向量库包括预先构建的多个特征向量,所述多个特征向量是根据不同渠道的用户行为数据得到的向量;
将所述多个特征向量进行组合,得到所述目标特征向量;
根据所述目标特征向量训练所述AI模型,得到训练好的AI模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述AI模型所需的目标特征向量,在特征向量库中获取所述多个特征向量之前,所述方法还包括:
获取待构建特征向量的目标用户的样本数据;所述目标用户的样本数据包括所述目标用户的标识和所述目标用户的行为数据,所述目标用户的标识和所述目标用户的行为数据为非耦合数据;
从所述样本数据中提取所述目标用户的标识,得到所述待构建特征向量的样本标识;
根据所述待构建特征向量的样本标识,从所述样本数据中提取所述目标用户的行为数据;
对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量。
3.根据权利要求2所述的方法,其特征在于,所述获取待构建特征向量的目标用户的样本数据,包括:
获取待构建特征向量的目标用户的原始数据;所述原始数据包括所述目标用户的标识和所述目标用户的原始行为数据;所述目标用户的标识和所述目标用户的原始行为数据为耦合数据;
对所述目标用户的标识和所述目标用户的原始行为数据进行特征解耦处理,得到所述目标用户的样本数据。
4.根据权利要求2或3所述的方法,其特征在于,所述对所述目标用户的行为数据进行特征编码,得到所述目标用户的特征向量,包括:
确定所述目标用户的行为数据的数据类型;所述数据类型包括字符类型、数字类型和分类类型;
若所述目标用户的行为数据的数据类型为字符类型,则通过第一编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第一特征向量;所述第一编码方式为用于字符类型的行为数据的编码方式;
若所述目标用户的行为数据的数据类型为数字类型,则通过第二编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第二特征向量;所述第二编码方式为用于数字类型的行为数据的编码方式;
若所述目标用户的行为数据的数据类型为分类类型,则通过第三编码方式对所述目标用户的行为数据进行编码,得到所述目标用户的第三特征向量;所述第三编码方式为用于分类类型的行为数据的编码方式。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述特征向量库还包括预先存储的多个目标特征向量,所述方法还包括:
确定所述特征向量库中是否存在所述AI模型所需的目标特征向量;
若所述特征向量库中存在所述AI模型所需的目标特征向量,则从所述目标特征库中获取所述AI模型所需的目标特征向量。
6.根据权利要求5所述的方法,其特征在于,所述确定所述特征向量库中是否存在所述AI模型所需的目标特征向量之前,所述方法还包括:
确定目标特征向量的存储价值;
根据所述目标特征向量的存储价值,对所述目标特征向量按照存储价值从大到小的顺序进行排序;
将排序靠前的N个目标特征向量存储至所述特征向量库。
7.根据权利要求6所述的方法,其特征在于,所述确定目标特征向量的存储价值,包括:
确定所述目标特征向量用于AI模型训练的使用频率和组合成本;其中,所述组合成本为对构建目标特征向量的多个特征向量进行组合所耗费的时间;
根据所述目标特征向量的使用频率和组合成本的加权和,确定所述目标特征向量的存储价值。
8.根据权利要求1-3任一项所述的方法,其特征在于,所述目标特征向量为所述用户对提款平台的使用行为数据;所述多个特征向量为根据所述用户的不同提款平台的使用行为数据构建的特征向量;
所述AI模型为用于根据所述目标特征向量和标签预测用户的提款率的模型,所述提款率用于表征用户的提款概率,所述标签用于表征所述用户是否提款。
9.一种用户行为数据处理装置,其特征在于,包括:
获取模块,用于获取目标任务;所述目标任务包括待训练的AI模型所需的目标特征向量,所述目标特征向量为同一用户的多个特征向量的组合特征;
所述获取模块,还用于若所述特征向量库中不存在所述AI模型所需的目标特征向量,则根据所述AI模型所需的目标特征向量,在特征向量库中获取所述目标用户的多个特征向量;所述特征向量库包括预先构建的多个特征向量,所述多个特征向量是根据不同渠道的用户行为数据得到的向量;
组合模块,用于将所述多个特征向量进行组合,得到所述目标特征向量;
训练模块,用于根据所述目标特征向量训练所述AI模型,得到训练好的AI模型。
10.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的方法。
12.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622588.9A CN114880578A (zh) | 2022-06-02 | 2022-06-02 | 用户行为数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622588.9A CN114880578A (zh) | 2022-06-02 | 2022-06-02 | 用户行为数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114880578A true CN114880578A (zh) | 2022-08-09 |
Family
ID=82678898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210622588.9A Pending CN114880578A (zh) | 2022-06-02 | 2022-06-02 | 用户行为数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114880578A (zh) |
-
2022
- 2022-06-02 CN CN202210622588.9A patent/CN114880578A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3985578A1 (en) | Method and system for automatically training machine learning model | |
WO2021164382A1 (zh) | 针对用户分类模型进行特征处理的方法及装置 | |
CN111859986B (zh) | 基于多任务孪生网络的语义匹配方法、装置、设备和介质 | |
CN108491406B (zh) | 信息分类方法、装置、计算机设备和存储介质 | |
CN111444326A (zh) | 一种文本数据处理方法、装置、设备以及存储介质 | |
CN113742488B (zh) | 基于多任务学习的嵌入式知识图谱补全方法和装置 | |
CN110276382A (zh) | 基于谱聚类的人群分类方法、装置及介质 | |
CN117520503A (zh) | 基于llm模型的金融客服对话生成方法、装置、设备及介质 | |
CN113934851A (zh) | 用于文本分类的数据增强方法、装置及电子设备 | |
CN109783381B (zh) | 一种测试数据生成方法、装置及*** | |
CN108830302B (zh) | 一种图像分类方法、训练方法、分类预测方法及相关装置 | |
CN114328681A (zh) | 一种数据转换方法、装置、电子设备及存储介质 | |
CN113656699A (zh) | 用户特征向量确定方法、相关设备及介质 | |
CN111930944B (zh) | 文件标签分类方法及装置 | |
CN113988195A (zh) | 一种私域流量线索挖掘方法、装置、车辆、可读介质 | |
CN112801784A (zh) | 一种数字货币交易所的比特币地址挖掘方法及装置 | |
CN113282686B (zh) | 一种不平衡样本的关联规则确定方法及装置 | |
CN114880578A (zh) | 用户行为数据处理方法、装置、设备及存储介质 | |
CN115269998A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
CN114780649A (zh) | 一种识别结构化数据实体类型的方法及装置 | |
CN111159397B (zh) | 文本分类方法和装置、服务器 | |
CN116861226A (zh) | 一种数据处理的方法以及相关装置 | |
CN112541357A (zh) | 实体识别方法、装置及智能设备 | |
CN111523318A (zh) | 一种汉语短语分析方法、***、存储介质及电子设备 | |
CN114418752B (zh) | 无类型标签用户数据的处理方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |