CN105096170A - 基于bbd或/和rf模型获取潜客级别的方法和*** - Google Patents

Abstract

本发明公开了一种基于BBD或/和RF模型获取潜客级别的方法和***，涉及潜在数据挖掘技术领域。本发明通过构建和使用BBD或/和RF模型，获取潜客级别，充分利用了用户历史行为数据，利用大数据平台提取用户在多天(比如120天)内的行为数据，从而可以深入了解用户行为；另外，构建特征工程***，自动化计算用户偏好、时长、频次等行为特征，采用模式识别方法，通过对数据概率分布的合理假设，让模型自己学习数据规律，自动确定自变量与因变量之间的权重关系，既解决了人工进行用户行为分析工作量大的问题，也完全排除了人工影响，同时，还有明确的衡量指标，从而保证了输出的潜客级别的有效性。

Description

基于BBD或/和RF模型获取潜客级别的方法和***

技术领域

本发明涉及潜在数据挖掘技术领域，尤其涉及一种基于BBD或/和RF模型获取潜客级别的方法和***。

背景技术

每天，有一部分购车***会以很大的概率在短期内转化为实际购车用户(比如有过下SL行为的用户)，如果售车网站通过对网站用户的历史行为分析，预测出用户的潜在级别，就可以提前对用户做预判，从而帮助厂商、经销商和网站自己做相应的运营策略，以提高或影响用户的体验或决策过程。因此，整个潜在客户(简称潜客)的挖掘工作属于售车网站UP中重要的一部分。

目前，一般采用如下方法做潜客分析：

从数据库中抽样用户行为日志，但由于数据量问题，时间周期较短；人工对用户行为日志分析，比如，用户访问了网站的哪个频道，频次如何，时长怎样；人工对不同类型、不同来源行为做权重设置，比如：用户下过销售线索，权重为：0.5；人工对上述权重做组合，并人工确定阈值，划分潜客级别。

但是，现有技术均存在以下缺陷：

大部分数据都是基于数据库的，所以能够处理的数据量有限，而要想深入了解用户行为往往需要大量的数据分析；人工进行用户行为分析工作量较大，且容易出错；人工利用先验知识对用户的不同行为确定权重及做权重组合，导致人工干扰较多，且结果无法衡量，效果无法得到保证。

发明内容

本发明的目的在于提供一种基于BBD或/和RF模型获取潜客级别的方法和***，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于BBD模型获取潜客级别的方法，包括如下步骤：

S1，构建BBD模型，所述BBD模型的形式如下：

式中，

C：用户历史下单行为次数，

I：用户历史浏览行为次数，

Ctr：用户潜在下单概率，

α、β：BBD模型的参数；

S2，采用MLE方法，建立如下算式：

式中，

n：样本的个数；

S3，对S2中的算式取ln后获得完全数据的loglikelihoodfunction；

S4，计算所述完全数据的loglikelihoodfunction的数学期望；

S5，根据所述数学期望获得如下形式的迭代式；

S6，根据S5中的迭代式计算所述BBD模型的参数：α、β的值；

S7，将α、β的值代入S1中的所述BBD模型中，根据所述BBD模型计算用户潜在下单概率。

其中，S1中，用户历史下单行为服从二项分布：

下单概率服从beta分布：

优选地，S3中，所述完全数据的loglikelihoodfunction为：

优选地，S4中，所述计算所述完全数据的loglikelihoodfunction的数学期望，采用EM算法，具体为：

优选地，S4中，计算所得的所述数学期望为：

其中，S5具体为，对S4中得到的所述数学期望的函数求解极值，采用Newton-Raphson迭代法，得到：

于是：

令：

利用迭代式：

得：

一种基于BBD模型获取潜客级别的***，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型参数；

应用平台：读取所述计算平台得到的BBD模型和所述数据平台存储的所述特征数据，应用BBD模型并输出潜客级别。

一种基于BBD模型和RF模型获取潜客级别的方法，包括如下步骤：

步骤1，利用机器学习模型，构建基于BBD模型和RF模型的RF融合模型；其中，BBD模型求解的方法如权利要求1-6任一项中所述的基于BBD模型获取潜客级别的方法；

步骤2，应用所述RF融合模型并输出潜客级别数据。

其中，所述步骤1包括如下步骤：

步骤101，将样本集划分为训练样本集一、训练样本集二和测试样本集；

步骤102，利用所述训练样本集一进行BBD模型求解，且进行BBD模型求解的方法如权利要求1-6任一项所述的方法，获取BBD模型并输出结果；

步骤103，利用所述训练样本集二进行RF模型求解，获取RF模型并输出结果；

步骤104，将步骤102和103中获得的BBD模型的输出结果和RF模型的输出结果进行合并，作为训练样本集三，并利用所述训练样本集三进行RF融合模型求解，生成RF融合模型；

步骤105，利用所述测试样本集对所述RF融合模型进行测试，得到测试结果；

步骤106，根据测试结果判断是否调整BBD模型，如果是，则跳转到步骤102，否则，判断是否调整RF模型，如果是，则跳转到步骤103，否则，输出所述RF融合模型的评价指标，以及所述RF融合模型。

一种基于BBD模型和RF模型获取潜客级别的***，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型、RF模型和RF融合模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型、RF模型的参数，获取RF融合模型的参数；

应用平台：读取所述计算平台得到的RF融合模型以及所述数据平台存储的所述特征数据，应用RF融合模型输出潜客级别。

本发明的有益效果是：本发明实施例提供的基于BBD或/和RF模型获取潜客级别的方法和***，通过构建和使用BBD或/和RF模型，获取潜客级别，充分利用了用户历史行为数据，利用大数据平台提取用户在多天(比如120天)内的行为数据，从而可以深入了解用户行为；另外，构建特征工程***，自动化计算用户偏好、时长、频次等行为特征，采用模式识别方法，通过对数据概率分布的合理假设，让模型自己学习数据规律，自动确定自变量与因变量之间的权重关系，既解决了人工进行用户行为分析工作量大的问题，也完全排除了人工影响，同时，还有明确的衡量指标：AUC、Recall、Precision、MSE，自动通过真实数据对模型效果做衡量，从而使输出的潜客级别的结果得到有效的衡量，保证结果的有效性。

附图说明

图1是本发明实施例一提供的基于BBD模型获取潜客级别的方法流程示意图；

图2是本发明实施例二提供的基于BBD模型获取潜客级别的***结构示意图；

图3是本发明实施例三提供的基于BBD模型和RF模型获取潜客级别的方法流程示意图；

图4是本发明实施例四提供的基于BBD模型和RF模型获取潜客级别的***结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本发明实施例提供了一种基于BBD模型获取潜客级别的方法，包括如下步骤：

S1，构建BBD模型，所述BBD模型的形式如下：

式中，

C：用户历史下单行为次数，

I：用户历史浏览行为次数，

Ctr：用户潜在下单概率，

α、β：BBD模型的参数；

S2，采用MLE方法，建立如下算式：

式中，

n：样本的个数；

S3，对S2中的算式取ln后获得完全数据的loglikelihoodfunction；

S4，计算所述完全数据的loglikelihoodfunction的数学期望；

S5，根据所述数学期望获得如下形式的迭代式；

S6，根据S5中的迭代式计算所述BBD模型的参数：α、β的值；

S7，将α、β的值代入S1中的所述BBD模型中，根据所述BBD模型计算用户潜在下单概率。

其中，S1中，用户历史下单行为可以服从二项分布：

下单概率可以服从beta分布：

S3中，所述完全数据的loglikelihoodfunction可以为：

S4中，所述计算所述完全数据的loglikelihoodfunction的数学期望，可以采用EM算法，具体为：

S4中，计算所得的所述数学期望为：

S5具体可以为，对S4中得到的所述数学期望的函数求解极值，采用Newton-Raphson迭代法，得到：

于是：

令：

利用迭代式：

得：

采用上述方法获得的用户下单模型，有完备的数学理论基础，该理论可以为汽车领域任何可以用Binomial分布模拟用户行为的场景服务，例如：下单用户购买转化行为模型构建、用户点击广告行为模型构建等；

上述方法，充分利用了用户历史行为数据，利用大数据平台提取用户在多天(比如120天)内的行为数据，从而可以深入了解用户行为；另外，构建特征工程***，自动化计算用户偏好、时长、频次等行为特征，采用模式识别方法，通过对数据概率分布的合理假设，让模型自己学习数据规律，自动确定自变量与因变量之间的权重关系，既解决了人工进行用户行为分析工作量大的问题，也完全排除了人工影响，同时，还有明确的衡量指标：AUC、Recall、Precision、MSE，自动通过真实数据对模型效果做衡量，从而使输出的潜客级别的结果得到有效的衡量，保证结果的有效性。

实施例二

如图2所示，本发明实施例提供了一种基于BBD模型获取潜客级别的***，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型参数；

应用平台：读取所述计算平台得到的BBD模型和所述数据平台存储的所述特征数据，应用BBD模型并输出潜客级别。

本发明实施例提供的算法架构能够快速迭代、效果可衡量的输出潜客模型，自动学习潜客识别中因变量和自变量的关系，在其他类似算法模型的构建中可以得到推广；

另外，整个算法***架构可以处理500G以上用户行为数据，并在3小时内生成潜客数据，算法***以Json/Protobuf的形式输出模型结果；用户行为特征数据会被沉淀在大数据平台中，该算法***在其他类似算法模型的构建中可以得到推广。

实施例三

如图3所示，本发明实施例提供了一种基于BBD模型和RF模型获取潜客级别的方法，包括如下步骤：

步骤1，利用机器学习模型，构建基于BBD模型和RF模型的RF融合模型；其中，BBD模型求解的方法如权利要求1-6任一项中所述的基于BBD模型获取潜客级别的方法；

步骤2，应用所述RF融合模型并输出潜客级别数据。

其中，所述步骤1可以包括如下步骤：

步骤101，将样本集划分为训练样本集一、训练样本集二和测试样本集；

步骤102，利用所述训练样本集一进行BBD模型求解，且进行BBD模型求解的方法如权利要求1-6任一项所述的方法，获取BBD模型并输出结果；

步骤103，利用所述训练样本集二进行RF模型求解，获取RF模型并输出结果；

步骤104，将步骤102和103中获得的BBD模型的输出结果和RF模型的输出结果进行合并，作为训练样本集三，并利用所述训练样本集三进行RF融合模型求解，生成RF融合模型；

步骤105，利用所述测试样本集对所述RF融合模型进行测试，得到测试结果；

步骤106，根据测试结果判断是否调整BBD模型，如果是，则跳转到步骤102，否则，判断是否调整RF模型，如果是，则跳转到步骤103，否则，输出所述RF融合模型的评价指标，以及所述RF融合模型。

上述融合模型：1)、完全由数据本身反映用户行为与其成为潜客的因果关系，避免了传统方法人为确定权重的弊端，2)、算法效果定量可衡量，根据模型在AUC、准确率、召回率、极大似然估计值上的综合表现还可进行模型效果调整，3)、BBD+RF的融合方法比单模型有更强的拟合及泛化能力，对未知样本的预测能起到更好的效果，例如：此次应用在潜客级别预测上，融合模型在测试集上AUC达到0.83，准确率达到84％，召回率达到80％，而同样条件下，单模型测试集AUC为0.75，准确率为78％，召回率为73％。

实施例四

如图4所示，本发明实施例提供了一种基于BBD模型和RF模型获取潜客级别的***，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型、RF模型和RF融合模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型RF模型的参数获取RF融合模型的参数

应用平台：读取所述计算平台得到的RF融合模型以及所述数据平台存储的所述特征数据，应用RF融合模型输出潜客级别。

本***架构使得我们可以处理用户120天以上的行为日志，支持200G以上的数据训练，可以在30min内训练出模型，同时各层分工明确易于扩展，支持大规模特征数据的自动化生成、存储和特征覆盖度监控，自动输出模型评价指标及模型异动监控，自动记录特征生成和模型训练等日志。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明实施例提供的基于BBD或/和RF模型获取潜客级别的方法和***，通过构建和使用BBD或/和RF模型，获取潜客级别，充分利用了用户历史行为数据，利用大数据平台提取用户在多天(比如120天)内的行为数据，从而可以深入了解用户行为；另外，构建特征工程***，自动化计算用户偏好、时长、频次等行为特征，采用模式识别方法，通过对数据概率分布的合理假设，让模型自己学习数据规律，自动确定自变量与因变量之间的权重关系，既解决了人工进行用户行为分析工作量大的问题，也完全排除了人工影响，同时，还有明确的衡量指标：AUC、Recall、Precision、MSE，自动通过真实数据对模型效果做衡量，从而使输出的潜客级别的结果得到有效的衡量，保证结果的有效性。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域人员应该理解的是，上述实施例提供的方法步骤的时序可根据实际情况进行适应性调整，也可根据实际情况并发进行。

上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种基于BBD模型获取潜客级别的方法，其特征在于，包括如下步骤：

S1，构建BBD模型，所述BBD模型的形式如下：

式中，

C：用户历史下单行为次数，

I：用户历史浏览行为次数，

Ctr：用户潜在下单概率，

α、β：BBD模型的参数；

S2，采用MLE方法，建立如下算式：

式中，

n：样本的个数；

S3，对S2中的算式取ln后获得完全数据的loglikelihoodfunction；

S4，计算所述完全数据的loglikelihoodfunction的数学期望；

S5，根据所述数学期望获得如下形式的迭代式；

S6，根据S5中的迭代式计算所述BBD模型的参数：α、β的值；

S7，将α、β的值代入S1中的所述BBD模型中，根据所述BBD模型计算用户潜在下单概率。

2.根据权利要求1所述的基于BBD模型获取潜客级别的方法，其特征在于，S1中，用户历史下单行为服从二项分布：

下单概率服从beta分布：

3.根据权利要求1所述的基于BBD模型获取潜客级别的方法，其特征在于，S3中，所述完全数据的loglikelihoodfunction为：

4.根据权利要求3所述的基于BBD模型获取潜客级别的方法，其特征在于，S4中，所述计算所述完全数据的loglikelihoodfunction的数学期望，采用EM算法，具体为：

5.根据权利要求4所述的基于BBD模型获取潜客级别的方法，其特征在于，S4中，计算所得的所述数学期望为：

6.根据权利要求5所述的基于BBD模型获取潜客级别的方法，其特征在于，S5具体为，对S4中得到的所述数学期望的函数求解极值，采用Newton-Raphson迭代法，得到：

于是：

令：

利用迭代式：

得：

7.一种基于BBD模型获取潜客级别的***，其特征在于，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型参数；

应用平台：读取所述计算平台得到的BBD模型和所述数据平台存储的所述特征数据，应用BBD模型并输出潜客级别。

8.一种基于BBD模型和RF模型获取潜客级别的方法，其特征在于，包括如下步骤：

步骤1，利用机器学习模型，构建基于BBD模型和RF模型的RF融合模型；其中，BBD模型求解的方法如权利要求1-6任一项中所述的基于BBD模型获取潜客级别的方法；

步骤2，应用所述RF融合模型并输出潜客级别数据。

9.根据权利要求8所述的基于BBD模型和RF模型获取潜客级别的方法，其特征在于，所述步骤1包括如下步骤：

步骤101，将样本集划分为训练样本集一、训练样本集二和测试样本集；

步骤102，利用所述训练样本集一进行BBD模型求解，且进行BBD模型求解的方法如权利要求1-6任一项所述的方法，获取BBD模型并输出结果；

步骤103，利用所述训练样本集二进行RF模型求解，获取RF模型并输出结果；

步骤104，将步骤102和103中获得的BBD模型的输出结果和RF模型的输出结果进行合并，作为训练样本集三，并利用所述训练样本集三进行RF融合模型求解，生成RF融合模型；

步骤105，利用所述测试样本集对所述RF融合模型进行测试，得到测试结果；

步骤106，根据测试结果判断是否调整BBD模型，如果是，则跳转到步骤102，否则，判断是否调整RF模型，如果是，则跳转到步骤103，否则，输出所述RF融合模型的评价指标，以及所述RF融合模型。

10.一种基于BBD模型和RF模型获取潜客级别的***，其特征在于，包括：

数据平台：包括特征数据层和画像数据层，所述特征数据层包括：网站用户的历史行为数据、由行为数据挖掘出的行为特征数据及由已有用户画像数据生成的特征数据；画像数据层包括：由所述特征数据通过模型学习得到的用户画像数据；

计算平台：包括模型层、算法层和计算层，所述模型层包括：BBD模型、RF模型和RF融合模型；所述算法层包括：SGD/GD、LBFGS和CD优化算法；所述计算层通过读取所述数据平台的所述特征数据，使用所述算法层提供的优化算法训练得到所述BBD模型、RF模型的参数，获取RF融合模型的参数；

应用平台：读取所述计算平台得到的RF融合模型以及所述数据平台存储的所述特征数据，应用RF融合模型输出潜客级别。