CN115271823A - 基于dpi共现关系特征的半监督用户行为预估方法 - Google Patents

Abstract

一种基于DPI共现关系特征的半监督用户行为预估方法，其包括数据预处理步骤S1、训练集的生成步骤S2和模型建立和预测步骤S3。本发明基于DPI共现关系特征的半监督用户行为预估方法，其针对DPI访问时间不易获得和DPI独热编码带来的特征稀疏性问题，提出使用DPI共现情况构建统计矩阵，再对该矩阵进行SVD分解，得到每个DPI的特征向量；通过用户的DPI特征，使用非缺失的用户属性特征建立模型，来预测这些特征的缺失值；之后再将包含了预测值和本身有值的用户属性特征连同DPI特征一起，作为用户整体特征，用于基于用户广告点击情况建立点击率预估模型，以提升用户点击率预测结果。

Description

基于DPI共现关系特征的半监督用户行为预估方法

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种基于DPI共现关系特征的半监督用户行为预估方法。

背景技术

点击率(Click-Through Rate，简称CTR)预估问题是互联网计算广告中的关键环节；对用户预估的准确性直接影响公司营销广告的收入。点击率预估问题是互联网计算广告中的关键环节，对用户预估的准确性直接影响公司营销广告的收入。

在广告投放过程中，一般会经历广告曝光、用户点击和用户注册(或称转化)这三个过程，CTR预估的一大目的是提高从广告曝光到用户点击的效率，即提高点击率。由于用户点击或不点击一般定义为用户行为的标签。

本领域技术人员清楚，传统的CTR预估可看作是一个有监督学习问题：即已知了用户点击行为等一系列特征后，将用户点击记为1，用户不点击记为0，从而进行二分类学习。

点击率预估中，数据特征一般可以分为：

①、用户画像特征，其主要包括用户的年龄、性别、收入水平、使用设备类型等；

②、物品/商品特征，其主要包括dpi、点击频次等)。在此基础上，还可以通过结合具体的业务需求或通过算法对特征进行交互和组合，包括了各种统计特征等。

尤其是对于某些商品的类别特征，对其处理后(例如独热向量展开等)往往维度非常高，特征的组成也较为复杂。此外，在很多业务中，特征对于待遇测结果的贡献也往往是人们关心的问题。

因此，在预估过程中，如果进行特征筛选对于提取重要特征、降低计算复杂度、降低过拟合风险等多方面都是有益的。

在用户DPI完整度较为充分的情况下，所有用户访问的DPI数量众多，如果使用独热编码的方式将用户的DPI访问情况展开，则会导致特征维度过高从而带来极大的计算成本。除此之外，单个用户所访问的DPI占总访问DPI的比例相对不会太高，因此用户的DPI访问特征也是十分稀疏的，在建模时也会带来过拟合的问题。

一种解决上述问题的思路是，对每个用户访问DPI的时间数据也进行收集，并根据DPI访问先后顺序进行排序，得到DPI的上下文信息，从而利用该信息来对DPI训练得到特征表示向量(也即词向量)。但这种方法所耗费的成本也很大，需要同时获得DPI的访问情况和访问时间，且对访问时间数据的准确程度也有一定的要求。

在用户特征数据存在缺失的情况下，通常需要将特征存在缺失的用户数据在建模前先剔除掉，以避免缺失值影响模型建立和预测。此外还可以通过一些如取众数和均值等填补手段人为将缺失值进行填充。

前者方法会导致原始数据信息的丢失，因为通常只会有部分特征会发生缺失的情况，简单的将有缺失值的用户数据丢弃将导致数据浪费。而后者的填充手段太过简单，当缺失值较多时可能会造成数据分布产生错误的预估从而影响建模和预测。

发明内容

本发明的目的在于提供一种基于DPI共现关系特征的半监督用户行为预估方法，其通过使用DPI共现情况构建统计矩阵，再对该矩阵进行SVD分解，得到每个DPI的特征向量作为特征词向量，以提升用户点击率预测结果。

为实现上述目的，本发明的技术方案如下：

一种基于DPI共现关系特征的半监督用户行为预估方法，其特征在于，包括数据预处理步骤S1、训练集的生成步骤S2和模型训练与模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取m个用户的原始数据信息，并从所述用户的原始数据信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户所在省份、用户所在城市、用户访问DPI、用户访问时间(频度)、设备类型和/或用户是否点击特征；其中，所述用户所在省份、用户所在城市、和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述m大于等于2；所述用户访问DPI为n个，所述n大于等于2；

步骤S12：对所述用户的原始特征信息进行异常检测与处理步骤；

步骤S13：通过独热编码对类别特征进行处理，根据业务需求及求解模型选择进行归一化后梯度下降处理，或利用RankGauss方法对连续特征进行调整样本分布处理；

所述训练集的生成步骤S2包括特征工程的处理步骤S21、共现矩阵的构造和DPI特征向量的获取步骤S22和模型训练与模型建立步骤S23；

步骤S21具体包括如下步骤：

步骤S211：用户访问DPI处理步骤，建立用户ID与用户访问DPI的特征列；

步骤S212：采用通过独热编码对类别特征进行处理；

步骤S213：连续特征进行数值型特征改造处理；

步骤S214：进行特征筛选和特征构造，以形成新的特征；

步骤S215：执行连续特征离散化处理；

步骤S22：共现矩阵的构造和DPI特征向量的获取具体包括如下步骤：

步骤S221：通过用户访问DPI访问列表，获得所有用户当天访问用户访问DPI的情况，之后对用户访问DPI访问列表中的用户访问DPI进行计数统计来获得共现矩阵；其中，所述共现矩阵的维度为n×n；

步骤S221：使用奇异值分解算法可以将共现矩阵分解得到维度为n×k的特征矩阵，其中，k为特征矩阵的维度(k<n)，所述特征矩阵的维度自由指定，代表特征维度，对于每个DPI来说都有对应的k维特征向量，所述k维特征向量即用户访问DPI的稠密表达，也即词向量；

步骤S3具体包括如下步骤：

步骤S311：通过共现矩阵得到每个DPI的特征向量，之后对于每个用户而言，将其访问的DPI对应的特征向量取均值，得到k维DPI特征；

步骤S312：将具有未缺失用户属性特征的用户筛选出来，使用DPI特征和用户属性特征建立用户属性预测模型，再使用缺失了用户属性特征的用户的DPI特征带入到模型中来预测这些用户所缺失的用户属性特征；

步骤S313：把所有用户的DPI特征和用户属性特征进行合并，结合每个用户广告点击标签，建立最终的点击率预估模型；

步骤S32：通过将上述特征带入训练好的用户预测模型，能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。

进一步地，所述点击率预估模型为梯度提升决策树模型，其实现方式包括XGBoost或lightGBM。

从上述技术方案可以看出，本发明基于DPI共现关系特征的半监督用户行为预估方法，其针对DPI访问时间不易获得和DPI独热编码带来的特征稀疏性问题，提出使用DPI共现情况构建统计矩阵，再对该矩阵进行SVD分解，得到每个DPI的特征向量作为特征词向量。

对于每个用户，用户的DPI特征即为用户访问各DPI的词向量的均值向量。该DPI特征具有特定维度，可由算法开发人员自主根据建模和测试情况进行指定和选择。

由于用户的DPI访问行为一定程度上反映了用户自身的特点和属性，因此用户的一些如年龄段、性别、消费行为等用户属性特征和DPI访问情况之间存在一定的联系。

但用户属性特征通常较难获得，这些特征可能存在大量的缺失情况。本发明通过用户的DPI特征，使用非缺失的用户属性特征建立模型，来预测这些特征的缺失值。之后再将包含了预测值和本身有值的用户属性特征连同DPI特征一起，作为用户整体特征，基于用户广告点击情况建立点击率预估模型。

也就是说，由于本发明使用用户DPI特征预测得到的用户属性特征来填补了缺失值，这些值同时又参与建立点击率预估模型，因此所建立点击率预估模型为半监督模型。

附图说明

图1所示为本发明实施例中基于DPI共现关系特征的半监督用户行为预估方法流程示意图

图2所示为本发明实施例中利用用户DPI访问情况构造共现矩阵以及通过构建的共线矩阵获得DPI特征向量的过程示意图

图3所示为本发明实施例中缺失特征预测和点击率预估模型的建立示意图

图4所示为本发明实施例中通过共现矩阵构建的DPI特征，对用户10次发送是否点击情况进行二分类预测，训练集和测试集上概率密度分布的示意图

具体实施方式

下面结合附图1-4，对本发明的具体实施方式作进一步的详细说明。

在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，针对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。

请参阅图1，图1所示为本发明基于DPI共现关系特征的半监督用户行为预估方法流程示意图。如图1所示，该预测方法包括数据预处理步骤S1、训练集的生成步骤S2和模型建立和预测步骤S3。

在本发明的实施例中，数据预处理步骤S1非常重要，所述数据预处理步骤S1包括如下步骤：

步骤S11：取m个用户的原始数据信息，并从所述用户的原始数据信息提取原始特征信息；其中，所述原始特征信息包括用户ID(user_id)、用户所在省份(province)、用户所在城市(city)、用户访问DPI、用户访问时间(频度)、设备类型(phone_type)和/或用户是否点击特征；其中，所述用户所在省份、用户所在城市和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述m大于等于2；所述用户访问DPI为n个，所述n大于等于2。

请参阅下表1，表1为预处理之前的原始数据信息的表格描述，预处理之前的原始数据信息形式如下表1所示：

表1

请注意此时，对于数据的标签，即用户是否点击，只区分为正样本(1)和未标记样本(0)。

在本发明的实施例中，上述的原始数据信息还需要经过异常检测与处理、类别特征处理、连续特征处理和降维处理等步骤。

步骤S12：对所述用户的原始数据信息进行异常检测与处理步骤。

异常检测与处理：在结合业务要求的过程中，对于原始数据信息中的缺失值、过大值等需要进行删除、填充等处理。在原始数据信息的采集过程中，由于一般用户量为百万级别，因此，采集过程中可能出现缺失情况；若缺失量较小，一般可直接进行剔除；若无法判断缺失原始数据信息是否会影响最终的模型训练效果，则一般可根据取平均数、众数和中位数等方法来填补缺失值。

并且在原始数据信息采集过程中，可能还会遇到过大值的问题，比如某用户在一天之内访问了DPI上万次，这种情况一般在实际建模过程中对于提升模型的泛化能力并无特别帮助，因此，也可以采用剔除的处理，或者采用填补的方法进行相应的处理。

步骤S13：通过独热编码对类别特征进行处理，根据业务需求及求解模型选择进行归一化后梯度下降处理，或利用RankGauss方法对连续特征进行调整样本分布处理。

从上表中可以看出，相比于传统的用户访问数据，每一个用户ID对应多个DPI访问记录，同时还给出了访问的时间。

在本发明的实施例中，还包括用户访问DPI处理。由于每个用户所访问的DPI不唯一，因此，原始数据信息中同一用户ID可能会出现多次，即用户具有多条访问信息。也就是说，将所有DPI去重后，建立用户访问DPI的特征列，若某用户访问了某几个DPI，则这些DPI的统计次数加1。

步骤S2：训练集的生成步骤，其包括特征工程的处理步骤S21、阴影特征的构造步骤S22和基于特征阴影的特征筛选步骤S23。

步骤S21：特征工程的处理步骤，对所述用户的原始数据信息进行特征筛选和特征构造，以形成新的特征；其具体包括如下步骤：

步骤S211：用户访问DPI处理步骤，建立用户ID与用户访问DPI的特征列。由于每个用户所访问的DPI不唯一，因此原始数据信息中同一用户ID可能会出现多次，即用户具有多条访问信息。因此，将所有DPI去重后，建立用户DPI的特征列，若某用户访问了某几个DPI，则这些DPI的统计次数加1。

步骤S212：采用通过独热编码对类别特征进行处理步骤。对于用户号码所在省份、城市、设备类型等类别特征(categorical features)，可以通过独热编码(one-hotenconding)进行展开。例如，省份有(HN,JS,LN,SH,JL,BJ)，通过独热编码后，某个用户所在的省份则为1，其他省份则为0。以用户ID为199990为例，其省份为HN，于是经过独热编码后，其归属地向量为(1,0,0,0,0,0)；对应的，用户199991的归属地向量则为(0,1,0,0,0,0)。

步骤S213：连续特征进行数值型特征改造处理。

该步骤称为数值型特征(numerical features)改造步骤，其可根据业务需求及模型选择进行相关处理，例如对于采用梯度下降(gradient decent)进行求解的模型，如逻辑回归和神经网络等，一般归一化后梯度下降更加平滑，收敛速度更快。又比如某些机器学习模型是以特征服从高斯分布为前提，此时可通过GaussRank等方法调整样本分布。

步骤S214：进行特征筛选和特征构造，以形成新的特征。

特征筛选：根据嵌入法，建立随机森林基学习器对预处理后的数据进行训练，并输出各个特征的重要性，消除若干权重较低的特征，再基于新的特征集进行下一轮训练，重复M次递归的消除重要性较低的特征，较佳地，M为3。

特征构造：添加常用的统计特征，如偏度(skewness)、峰度(peakedness)等。

步骤S215：连续特征离散化。

对于一些机器学习算法如逻辑回归和前馈神经网络等，将连续特征根据多个阈值来进行离散化，可以有效增加算法优化的收敛速度，已经避免异常值对模型训练的影响，一定程度上起到了正则化的作用。例如，根据样本在某个连续特征上分布的不同分位数(假设分位数取0.25，0.5，0.75)，可以将样本在该连续特征上划分为5个区间。每个样本之可能分布在五个区间中的其中一个，则该样本在所位于的特征区间中取值为1，在其余四个区间中取值为0。连续特征离散化的效果即是将一个连续特征展开为独热编码的形式。

经过预处理和特征工程后，数据可用如下表2所示：

其中，连续特征为DPI访问频次、峰度、偏度等统计特征。类别特征为DPI访问的独热编码、号码归属地的独热编码和离散化后的DPI访问频次。

步骤S22：共现矩阵的构造和DPI特征向量的获取步骤；

请参阅图2，图2所示为本发明实施例中利用用户DPI访问情况构造共现矩阵以及通过构建的共线矩阵获得DPI特征向量的过程示意图。如图2所示，用户当天访问DPI的情况可以通过DPI访问列表获得，之后对列表中的DPI进行计数统计来获得共现矩阵。图中展示了三个用户访问DPI：用户访问DPI A、用户访问DPI B和用户访问DPI C的共现情况，其中，14表示用户访问DPI A和用户访问DPI B在所有用户的训练数据中共同出现了14次，也即数据中共有14个用户同时访问了用户访问DPI A和用户访问DPIB。矩阵中的其他数据以此类推。

设共n个用户访问DPI，则共现矩阵的维度为n×n。获得共现矩阵后，使用奇异值分解算法可以将共现矩阵分解得到维度为n×k的特征矩阵，其中k为特征矩阵的维度(k<n)，该维度可自由指定，代表特征维度。对于每个DPI来说都有对应的k维特征向量，该特征向量即用户访问DPI的稠密表达，也即词向量。经过上述数据处理步骤后，将新生成的数据分成训练集和验证集，并模型建立步骤S3。

步骤S31：建立基于树算法的神经网络初始化模型。

请参阅图3，图3所示为本发明实施例中缺失特征预测和点击率预估模型的建立示意图。如图3所示，在对缺失特征的预测和最终点击率预估模型的建立过程中，执行如下步骤：

步骤S311：通过共现矩阵得到每个DPI的特征向量，之后对于每个用户而言，将其访问的DPI对应的特征向量取均值，得到k维DPI特征。

步骤S312：将具有未缺失用户属性特征的用户筛选出来，使用DPI特征和用户属性特征建立用户属性预测模型，再使用缺失了用户属性特征的用户的DPI特征带入到模型中来预测这些用户所缺失的用户属性特征。

步骤S313：把所有用户的DPI特征和用户属性特征进行合并，结合每个用户广告点击标签，建立最终的点击率预估模型。

在本发明的实施例中，有了上述点击率预估模型后，就可以通过将上述特征带入训练好的用户预测模型，能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放，即预测步骤S32。

请参阅图4，图4所示为本发明实施例中通过共现矩阵构建的DPI特征，对用户10次发送是否点击情况进行二分类预测，训练集和测试集上概率密度分布的示意图。如图4所示，通过共现矩阵构建的DPI特征，对用户10次发送是否点击情况进行二分类预测，训练集和测试集上概率密度分布几乎重合，过拟合抑制的较好。同时，在测试集上AUC值为0.83，表明模型对于正负样本具有较好的区分能力。

结果表明，通过本发明的上述特征筛选方案，有效实现了基于DPI共现矩阵的特征构造，显著提升了用户点击率预测的结果。

以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (3)

1.一种基于DPI共现关系特征的半监督用户行为预估方法，其特征在于，包括数据预处理步骤S1、训练集的生成步骤S2和模型建立和预测步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取m个用户的原始数据信息，并从所述用户的原始数据信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户所在省份、用户所在城市、用户访问DPI、用户访问时间(频度)、设备类型和/或用户是否点击特征；其中，所述用户所在省份、用户所在城市、和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述m大于等于2；所述用户访问DPI为n个，所述n大于等于2；

步骤S12：对所述用户的原始特征信息进行异常检测与处理步骤；

步骤S13：通过独热编码对类别特征进行处理，根据业务需求及求解模型选择进行归一化后梯度下降处理，或利用RankGauss方法对连续特征进行调整样本分布处理；

所述步骤S2包括特征工程的处理步骤S21、共现矩阵的构造和DPI特征向量的获取步骤S22和模型训练与模型建立步骤S23；

步骤S21具体包括如下步骤：

步骤S211：用户访问DPI处理步骤，建立用户ID与用户访问DPI的特征列；

步骤S212：采用通过独热编码对类别特征进行处理；

步骤S213：连续特征进行数值型特征改造处理；

步骤S214：进行特征筛选和特征构造，以形成新的特征；

步骤S215：执行连续特征离散化处理；

步骤S22共现矩阵的构造和DPI特征向量的获取具体包括如下步骤：

步骤S221：通过用户访问DPI访问列表，获得所有用户当天访问用户访问DPI的情况，之后对用户访问DPI访问列表中的用户访问DPI进行计数统计来获得共现矩阵；其中，所述共现矩阵的维度为n×n；

步骤S221：使用奇异值分解算法可以将共现矩阵分解得到维度为n×k的特征矩阵，其中，k为特征矩阵的维度(k<n)，所述特征矩阵的维度自由指定，代表特征维度，对于每个DPI来说都有对应的k维特征向量，所述k维特征向量即用户访问DPI的稠密表达，也即词向量；

步骤S3具体包括如下步骤：

步骤S31：通过共现矩阵得到每个DPI的特征向量，之后对于每个用户而言，将其访问的DPI对应的特征向量取均值，得到k维DPI特征；

步骤S32：将具有未缺失用户属性特征的用户筛选出来，使用DPI特征和用户属性特征建立用户属性预测模型，再使用缺失了用户属性特征的用户的DPI特征带入到模型中来预测这些用户所缺失的用户属性特征；

步骤S33：把所有用户的DPI特征和用户属性特征进行合并，结合每个用户广告点击标签，建立最终的点击率预估模型。

2.根据权利要求1所述的预测方法，其特征在于，所述点击率预估模型为梯度提升决策树模型，其实现方式包括XGBoost或lightGBM。

3.根据权利要求1所述的预测方法，其特征在于，所述步骤S3还包括步骤S32：通过将上述特征带入训练好的用户预测模型，能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。

Images