CN111506811A - 一种基于深度残差网络的点击率预测方法 - Google Patents

Abstract

本发明提出了一种基于深度残差网络的点击率预测方法，该方法包括如下步骤：获取历史推荐广告点击数据作为模型的训练集和测试集；对数据进行预处理并剔除异常值；将训练数据输入到独热码输入层进行独热码向量映射，在独热码输入层后级联嵌入编码层将独热码向量映射到低维向量；将输出向量作为因子分解机部分和深度残差神经网络的共享输入，分别负责低阶特征和高阶特征的提取；在Fusion层将FM和深度残差神经网络的预测结果进行融合并做概率归一化映射。本发明将深度残差网络引入DNN模型，解决DNN随着网络变深产生的梯度消失和模型性能退化问题，从而更有效地提取高阶组合特征。

Description

一种基于深度残差网络的点击率预测方法

技术领域

本发明涉及信息推荐***领域，尤其涉及一种基于深度残差网络的点击率预测方法。

背景技术

随着互联网的飞速发展，网络信息浩如烟海,对于用户而言，如何在以指数级增长的资源中快速、准确地定位到自己需要的内容是一件极具挑战性的事情。同时对于商家而言，如何在正确的时间点将恰当的信息呈现给用户对商家的经济发展起到了关键导向。

针对信息过载问题，推荐***应运而生，通过利用用户画像、物品信息以及用户的搜索、点击、收藏等行为数据，对不同用户进行个性化推荐。用户点击率预测研究是推荐***中十分重要的组成模块，也是程序化广告交易框架中智慧核心组件，学习和预测用户的行为模式对个性化推荐***、智能信息检索等领域都有着极其重要的意义。

为了提升用户点击率预测准确率，过去数十年内不同的学者对这一领域提出了各种各样的特征提取模型和用户行为学习模型。构建好的特征对于机器学习任务来说至关重要。He等人将决策树与Logistic回归相结合，提出梯度提升决策树模型，其研究表明，能够捕获关于用户和广告历史信息的特征对于***性能具有决定性影响[参考“He Xinran,PanJunfeng,Jin Ou,et al.Practical lessons from predicting clicks on ads atFacebook[C]//Proceedings of the Eighth International Workshop on Data Miningfor Online Advertising.ACM,2014:1-9”]。Qiu等人提出了一种采用多粒度级联森林结合GBDT的集成学习方法，以提高CTR准确率并降低超参数调整工作量[参考“Qiu Xiaokang,Yuan Zuo,Liu Guannan.ETCF:An Ensemble Model for CTR Prediction[C]//2018 15thInternational Conference on Service Systems and Service Management(ICSSSM).IEEE,2018:1-5”]。交叉组合原始特征构成新的特征是有效的特征构建方法，匡俊等人的研究表明基于因子分解机[参考Rendle S.Factorization machines[C]//2010IEEEInternational Conference on Data Mining.IEEE,2010:995-1000]模型和基于GBDT+LR模型的预测精度要优于基于LR的模型，并且将用户特征和视频特征进行交叉组合能够改进点击率预测的精度[参考“匡俊,唐卫红,陈雷慧,等.基于特征工程的视频点击率预测算法[J].华东师范大学学报:自然科学版,2018,(3):77-87.(Kuang Jun,Tang Weihong,ChenLeihui,et al.Algorithm for video click-through rate prediction[J].Journal ofEast China Normal University:Natural Science,2018,(3):77-87”]。FM作为一种矩阵分解模型，能够有效降低高维数据稀疏性，并且对噪声和冗余不敏感，拥有良好的可扩展性。Juan等人引入场的概念，提出了场感知因子分解机FFM模型，使得每两组特征交叉的隐向量都是独立的，取得了更好的组合效果[参考“Juan Yuchin,Zhuang Yong,ChinWeisheng,et al.Field-aware factorization machines for CTR prediction[C]//Proceedings of the 10th ACM Conference on Recommender Systems.ACM,2016:43-50”、“Juan Yuchin,Lefortier Damien,Chapelle Olivier.Field-aware factorizationmachines in a real-world online advertising system[C]//Proceedings of the26th International Conference on World Wide Web Companion.International WorldWide Web Conferences Steering Committee,2017:680-688”]这些方法都取得了不错的效果，然而，FM类模型只能有效提取一阶和二阶特征，难以挖掘高阶特征信息。限制了模型性能的进一步提升。

近年来，随着深度学习的发展，FM模型与深度学习模型的集成为传统模型的深度扩展提供了思路，深度神经网络通过构建深层网络架构，可以逐级提取从浅层到深层的特征，从海量数据中挖掘丰富而有价值的信息，当前最具代表性的CTR预测架构是深度因子分解机DeepFM模型[参考“Guo Huifeng,Tang Ruiming,Ye Yunming,et al.DeepFM:AFactorization-Machine Based Neural Network for CTR Prediction[C]//Proceedingsof the Twenty-Sixth International Joint Conference on ArtificialIntelligence,2017”]，DeepFM将FM和深度神经网络相结合，较好地解决了高阶特征挖掘的问题。但是，传统DNN在反向传播时存在梯度逐渐消失、参数不能有效更新的问题，导致模型难以收敛。并且随着网络深度的增加，网络性能可能产生退化，即先趋于最优，然后迅速下降。

发明内容

本发明为了解决原生DeepFM预测模型中网络变深产生的梯度消失和模型性能退化问题，提供一种基于深度残差网络的点击率预测方法。

为实现上述目的，本发明所采用的技术方案为：一种基于深度残差网络的点击率预测方法，该方法包括如下步骤：

获取历史推荐广告点击数据作为模型的训练集和测试集；

对数据进行预处理并剔除异常值；

将训练数据输入到独热码输入层进行独热码向量映射，在独热码输入层后级联嵌入编码层将独热码向量映射到低维向量；

将输出向量作为因子分解机部分和深度残差神经网络的共享输入，分别负责低阶特征和高阶特征的提取；

在Fusion层将FM和深度残差神经网络的预测结果进行融合并做概率归一化映射：

其中，非线性映射函数f为sigmoid函数，β为折衷系数。

与现有技术相关，本发明提供的一种基于深度残差网络的点击率预测方法将深度残差网络引入DNN模型，解决DNN随着网络变深产生的梯度消失和模型性能退化问题，从而更有效地提取高阶组合特征。此外，为了避免过拟合引入Dropout机制，并且对输入特征的预处理引入最大支持的维度参数，以避免独热码映射时出现维度灾难。

本发明提供的一种基于深度残差网络的点击率预测方法中，所述历史推荐广告点击数据包括每个广告对应的点击状态以及训练特征。

本发明提供的一种基于深度残差网络的点击率预测方法中，对数据进行预处理阶段原始数据与发生频数的字典映射关系为：

Freq[ρ_i]＝C_i，i∈{1,2,3,,T}

ρ_i为第i个不同的哈希值；

C_i为其发生的频数；

T为哈希可能取值的总数量；

在独热码生成过程中引入最大支持维度参数Q，当T≤Q时，只需要将独热码向量中索引A处取值为1即可，A为ρ_i在所有可能取值中的排序索引；

当T≤Q时，对发生的频数C_i进行二次映射，构建新的字典映射表，直至其维度小于Q为止。

从上述内容可以看出，相较于原始DeepFM预测模型，本发明除深度神经网络结构不同而防止网络训练出现过拟合等问题外，在预处理阶段引入最大支持维度参数Q也避免了枚举类型或者哈希值型在独热码映射时出现维度灾难等问题，具体阐述如下：

(1)在预处理阶段引入最大支持维度参数Q：原始输入可能包括不同的数据类型，如数值型、枚举型、哈希值等；为了对异构的数据规整化，同时避免特征工程的繁琐过程，将其转化为独热码是最常用的有效手段，然而当遇到某些维度特征分布极其分散的情况下，会导致转化后的独热码向量极其稀疏。为了避免枚举类型或者哈希值型在独热码映射时出现维度灾难，在独热码生成过程中引入一个最大支持维度参数Q。

(2)深度神经网络结构的不同：原生DeepFM中使用深度神经网络对高阶特征进行提取，由于DNN模型是逐步级联的，当全连接层数量增加后，会产生冗余的连接层，此时冗余层由于学习了不是恒等映射的参数而造成网络性能退化。同时，随着网络层数的增大，梯度回传迭代时可能产生梯度弥散，出现难以收敛的窘境。因此，本发明将深度残差网络引入DeepFM模型中，并在此基础上引入Dropout机制防止网络训练出现过拟合，增强泛化能力。

附图说明

图1为本发明实施例中基于因子分解机和深度残差网络的DeepFM预测模型架构图。

图2为本发明实施例中原始输入稀疏特征向量到稠密向量的嵌入映射示意图。

图3为本发明实施例中基于残差机制的DNN模型图。

图4为本发明实施例中Dropout机制结构图。

图5为不同矩阵分解参数k下的测试集AUC值图。

图6为不同随机失活概率和不同全连接层下的测试集AUC值图。

图7为基于Criteo数据集上不同预测模型的性能比较图。

具体实施方式

下面将结合示意图对本发明所采用的技术方案作进一步的说明。

本发明实施例提供了一种基于深度残差网络的点击率预测方法，参见图1，该方法包括如下步骤：

步骤1，采用Criteo公开数据集码，获取过去某一段时间推荐广告点击数据，包含每个广告对应的点击状态以及训练特征，作为模型的训练集和测试集。

步骤2，对数据集进行预处理操作。原始输入的不同数据类型包括但不仅限于数值型、枚举型、哈希值等。为了将不同类型的特征分量进行归一化映射，同时降低输入特征向量的维度，一般而言需要将输入特征先进行独热码向量映射，为了避免枚举类型或者哈希值在独热码映射时出现维度灾难，在独热码生成过程中引入一个最大支持维度参数Q。作为一种示例，我们统计数据集中某一个哈希值类型的维度数据，并建立了原始数据与发生频率的字典映映射关系为：

Freq[ρ_i]＝C_i，i∈{1,2,3,,T}

其中，ρ_i为第i个不同的哈希值，C_i为其发生的频数，T为哈希可能取值的总数量。当T≤Q时，只需要将独热码向量中索引A(A为ρ_i在所有可能取值中的排序索引)处取值为1即可。当T≤Q时，我们对发生的频数C_i进行二次映射，构建新的字典映射表，直至其维度小于Q为止。

步骤3，在步骤2的基础上构建嵌入编码层，在极其稀疏的独热码输入层后级联嵌入编码层，和FFM一样，DeepFM把具有相同性质的特征归结为一个场(Field)。参见图2，嵌入层编码将不同场的独热码稀疏向量映射到低维向量，这样可以压缩原始数据信息，大大降低输入的维度。映射关系如下：

x＝f(S,M)

其中，x为嵌入编码后的响应向量，S为独热码稀疏特征向量，M为参数矩阵，其元素为图2中连接线的权重参数，这些参数在CTR预测模型训练过程中通过学习迭代收敛得到。

步骤4，引入因子分解机模型，将步骤3的输出作为因子分解机模型的输入提取一阶特征和二阶组合特征。因子分解机中的回归预测模型为：

其中，

为预测输出，n为输入特征向量的维度，x_i为第i维输入特征向量，ω_i为一阶特征的权重参数，ω_ij为二阶组合特征的权重参数。

步骤5，引入深度残差网络(结合图3所示)，将步骤3的输出作为深度残差网络的输入对高阶特征进行提取，其中DNN模块每两层增加一个跳变(shortcut)连接，构成一个残差块。通过引入残差结构，将低阶的特征与高阶的选通相加，其相加的权重参数由模型训练过程中学习得到。结合图4，为了增加模型的泛化能力，防止过拟合，在深度残差网络的基础上引入随机失活机制(Dropout)，通过强迫单一神经元和随机挑选出来的其他神经元共同工作，减弱神经元节点间的共适性。

步骤6，在Fusion层将FM和DNN的预测结果进行融合并作概率归一化映射：

其中，非线性映射函数f为sigmoid函数，β为折衷系数。基于残差网络的DNN结合FM可以对用户数据的一阶、二阶、以及高阶组合特征进行回归建模，更有利于挖掘数据之间的关联性。

需要指出的是，本发明选择二元交叉熵损失函数Logloss以及AUC作为CTR预测性能评估指标。而Logloss定义为：

其中，N为测试集上样本总数量，y⁽ⁱ⁾和

分别为测试集合上第i个样本的类别真值和预测用户点击的概率值。

AUC的定义为ROC(Receiver Operating Characteristic)曲线下坐标轴所闭包的区域面积：

其中，fpr为假阳率。不同分类阈值下假阳率不同，通过变化分类阈值，可以得到不同假阳率下的真阳率曲线，即ROC。

为了降低样本排列顺序对最终模型训练后性能的影响，首先对数据集中的样本进行随机化洗牌，并将带有标签的数据集划分为两部分，即训练数据集D_train和测试数据集D_test。实验中Batch尺寸为128，学习速率为0.001，嵌入编码层尺度为8，β＝1.0，独热码映射时候最大的支持维度为450。首先分别对矩阵分解超参数k、随机失活的概率p、自适应残差DNN全连接层数的影响进行研究，选取最优参数，然后将本发明与主流CTR预测模型进行对比。

参见图5、图6所示，当矩阵分解超参数k取为16，DNN全连接层数取为4，Dropout机制随机失活概率取为30％时，模型效果最好。

参见图7所示，DeepFM的性能优于其它主流CTR预测模型，而DRN-DeepFM的Logloss和AUC值则比DeepFM分别改进了1.26％和0.93％，这归功于对DNN引入深度残差网络可以更好地对用户点击事件中的高阶特征进行抽象建模。

综上，本发明将深度残差网络引入DNN模型，解决DNN随着网络变深产生的梯度消失和模型性能退化问题，从而更有效地提取高阶组合特征。此外，为了避免过拟合引入Dropout机制，并且对输入特征的预处理引入最大支持的维度参数，以避免独热码映射时出现维度灾难。基于Criteo公开数据集的研究表明，相比众多主流CTR预测模型，所提出的DRN-DeepFM模型具有更低的Logloss和更优越的AUC性能。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (3)

1.一种基于深度残差网络的点击率预测方法，其特征在于，该方法包括如下步骤：

获取历史推荐广告点击数据作为模型的训练集和测试集；

对数据进行预处理并剔除异常值；

将训练数据输入到独热码输入层进行独热码向量映射，在独热码输入层后级联嵌入编码层将独热码向量映射到低维向量；

将输出向量作为因子分解机部分和深度残差神经网络的共享输入，分别负责低阶特征和高阶特征的提取；

在Fusion层将FM和深度残差神经网络的预测结果进行融合并做概率归一化映射：

其中，非线性映射函数f为sigmoid函数，β为折衷系数。

2.根据权利要求1所述的一种基于深度残差网络的点击率预测方法，其特征在于，所述历史推荐广告点击数据包括每个广告对应的点击状态以及训练特征。

3.根据权利要求1所述的一种基于深度残差网络的点击率预测方法，其特征在于，对数据进行预处理阶段原始数据与发生频数的字典映射关系为：

Freq[ρ_i]＝C_i，i∈{1,2,3,…,T}

ρ_i为第i个不同的哈希值；

C_i为其发生的频数；

T为哈希可能取值的总数量；

在独热码生成过程中引入最大支持维度参数Q，当T≤Q时，只需要将独热码向量中索引A处取值为1即可，A为ρ_i在所有可能取值中的排序索引；

当T≤Q时，对发生的频数C_i进行二次映射，构建新的字典映射表，直至其维度小于Q为止。

Images