CN111429175A - 稀疏特征场景下进行点击转化预测的方法 - Google Patents

稀疏特征场景下进行点击转化预测的方法 Download PDF

Info

Publication number
CN111429175A
CN111429175A CN202010190795.2A CN202010190795A CN111429175A CN 111429175 A CN111429175 A CN 111429175A CN 202010190795 A CN202010190795 A CN 202010190795A CN 111429175 A CN111429175 A CN 111429175A
Authority
CN
China
Prior art keywords
model
order
level
sparse
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010190795.2A
Other languages
English (en)
Other versions
CN111429175B (zh
Inventor
杨昕梅
余楚楚
杨承
高原
李绍荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010190795.2A priority Critical patent/CN111429175B/zh
Publication of CN111429175A publication Critical patent/CN111429175A/zh
Application granted granted Critical
Publication of CN111429175B publication Critical patent/CN111429175B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了稀疏特征场景下进行点击转化预测的方法，涉及点击转化率预测领域。建立了基于神经网络的CTR模型，此CTR模型采用全新的神经网络结构，既可学习低阶特征的交互信息，同时能获得高阶特征的交互信息。除此之外，低阶特征的交互信息不限于线形关系的低阶特征，还包括非线性关系的低阶特征。为了防止网络层次过于深层带来梯度更新的问题，我们选择增加残差网络结构来优化我们的算法模型。

Description

稀疏特征场景下进行点击转化预测的方法
技术领域
本发明涉及点击转化率预测领域，特别涉及稀疏特征场景下进行点击转化预测的方法。
背景技术
点击转化率(简称CTR)，通常是指点击特定链接的用户与查看页面、电子邮件或广告的总用户数量之比。它通常用于衡量某个网站的在线广告活动是否成功，以及电子邮件活动的有效性，是互联网公司进行流量分配的核心依据之一。由此可以看出，点击转换率越高，代表广告投放活动越成功，同时也意味着产品越受欢迎，或是产品销量越好。
基于此背景下，CTR预测一直都是机器学习应用的热门领域，但也是热门的难题。因为，在电子商务领域，用户的行为特征通常是稀疏且庞大的，这给建模带来了困难和挑战。早期的人工特征工程与逻辑回归(简称LR)结合的建模方式，需要大量的人工处理，所需人才不仅需要对业务和行业有所了解，对于算法处理也有较高的经验要求，且模型的好坏往往取决于人工处理特诊的效果；基于此进一步地，梯度提升树(简称GBDT)与LR结合的建模方式，虽然也需要大量的人工处理，但由于其可解释性与GBDT对于假例权重的提升，使得预测计算准确度有了较大的提高；紧接着，随着神经网络的大热，通过神经网络对CTR建模的方法也逐渐兴起，通过神经网络学习用户行为特征的方法很大程度上提高了模型性能，对于有着庞大用户群体的互联网公司来说，提高1％的CTR，带来的实际收益都无比可观，更不要说基于神经网络的CTR模型，提高的CTR远远不止1％。
在稀疏、庞大的用户行为特征下，在现有的CTR模型的基础上，进一步地提高CTR模型的性能，同时避免深层神经网络出现梯度***、梯度消失的问题，优化深层神经网络模型，是本发明所要探索解决的问题。
发明内容
本发明的目的在于：提供了稀疏特征场景下进行点击转化预测的方法，在现有的CTR模型的基础上，进一步地提高CTR模型的性能，同时避免深层神经网络出现梯度***、梯度消失的问题，优化深层神经网络模型。
本发明采用的技术方案如下：
稀疏特征场景下进行点击转化预测的方法，包括以下步骤：
S1：建立CTR模型，所述CTR模型包括第一层级、第二层级、第三层级和第四层级；
S2：采集用户稀疏行为特征，并将此用户稀疏行为特征输入步骤S1中的CTR模型，进行矩阵化，得到用户稀疏特征矩阵；
S3：输入用户稀疏特征矩阵，通过CTR模型第一层级，将用户稀疏特征矩阵转化为密集嵌入矩阵；
S4：将密集嵌入矩阵输入第二层级，学习低阶交互特征，得到低阶特征之间的交互特征关系；
S5：将步骤S4中的输出作为包含残差网络的第三层级的输入，学习高阶交互特征，得到高阶特征之间的交互特征关系；
S6：对步骤S5中第三层级的残差网络进行优化处理；
S7：将步骤S6中的输出作为第四层级的输入，最终由第四层级输出点击转化预测值。
学习特征交互对于稀疏且庞大的用户行为特征来说是非常重要的，许多现有的CTR模型或多或少都考虑过学习特征交互的问题，其实验结果也能够体现出学习特征交互的重要性。特征交互包括低阶特征交互与高阶特征交互，本技术方案中，对于CTR模型，既考虑了低阶交互特征之间的交互特征关系，还考虑了高阶交互特征之间的交互特征关系，对比其它传统预测模型来说，能够显而易见的看到，同时考虑低阶交互特征与高阶交互特征，CTR模型的预测准确性能会显著提高。
同时，我们知道增加神经网络的宽度和深度可以很好的提高神经网络的性能，但是在深层神经网络训练过程中，CTR模型的性能反而下降，这是由于对于更深层次的网络，更容易出现梯度***，梯度消失的问题，这就带来了网络层次越深，模型性能越差的问题。本技术方案中，对比其它传统预测模型，将残差网络应用到CTR模型中，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了由于输入CTR模型的用户行为特征过于稀疏而在CTR模型训练过程中出现的梯度问题，从而避免影响CTR模型性能。残差网络的应用，让此CTR模型在网络层次相对较深的情况下，依旧可以去的良好的预测效果。
进一步地，所述CTR模型的第一层级为嵌入层，将输入CTR模型的用户稀疏特征矩阵进行筛选，通过线性变化，得到密集嵌入矩阵。
嵌入层，即embedding layer，主要作用是将用户稀疏的行为特征矩阵通过一些线性变换，转换成一个密集矩阵，即上述的密集嵌入矩阵。此密集嵌入矩阵采用了n个特征来表征所有的用户特征，在此密集嵌入矩阵中，表象上代表着密集嵌入矩阵与单个特征之间一一对应的关系，实际上还蕴含着大量特征与特征之间的内在关系，这样的关系是实用嵌入层学习来的参数进行表征的。故而，嵌入，就是一个从稀疏矩阵转换到密集矩阵的一一对应的过程。在此技术方案中，使用通过嵌入层得到的密集嵌入矩阵，作为第二层级的输入，即为低阶交互特征的学习与高阶交互特征的学习的基础。
进一步地，所述CTR模型的第二层级为因子分解层与二阶交互层。
传统的预测模型在考虑低阶特征之间的交互特征信息时，只考虑线性关系的低阶特征，因此预测结果具有很大的局限性。本技术方案中，除了对具有线性关系的低阶特征进行训练学习，还对具有非线性关系的低阶特征进行训练学习，因此，此CTR模型的预测结果，打破了传统预测模型的局限性。其中，此CTR模型中，第二层级整体是对低阶特征进行训练学习，而因子分解层采用了FM模型，用于学习低阶且具有线性关系的特征之间的交互特征信息，二阶交互层采用了Non-interaction layer模型，用于学习低阶且具有非线性关系的特征之间的交互特征信息。
其中，所述因子分解层采用FM模型，学习低阶且具有线性关系的特征之间的交互特征信息。
FM模型具有以下几点优势：首先，FM模型即使在数据非常稀疏的情况下，依旧能够进行可靠的预测；其次，FM模型是线性时间复杂度的，可以直接使用原问题进行求解；另外，FM模型是一个通用模型，其训练数据的特征取值可以是任意实数，而其它先进的分解模型对于输入的数据有严格的限制。
其中，所述二阶交互层采用Non-interaction layer模型，学习低阶且具有非线性关系的特征之间的交互特征信息。
Non-interaction layer模型能够将多个矩阵转换成一个矩阵，通过将输入的密集嵌入矩阵，任意两两组合，得到新的矩阵，并最终将新的矩阵进行相加，最终就得到了Bi-interaction的输出，这Bi-interaction输出只有一个举证。Non-interaction layer模型的优势在于，实现了对二阶组合特征的建模，但是又没有引入额外的开销，包括参数数量和计算复杂度。
进一步地，所述CTR模型的第三层级为隐藏层，所述隐藏层采用了MLP模型。
MLP即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP模型可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的处理单元。MLP模型是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。而本技术方案在隐藏层中，通过MLP模型来学习高阶特征之间的交互特征信息。
进一步地，所述CTR模型的第四层级为预测层，基于残差网络的应用，从优化后的CTR模型中输出点击转化预测值。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明在学习特征交互中，既考虑了低阶交互特征之间的交互特征关系，还考虑了高阶交互特征之间的交互特征关系，对比其它传统预测模型来说，能够显而易见的看到，同时考虑低阶交互特征与高阶交互特征，CTR模型的预测准确性能会显著提高。
2.本发明在考虑低阶特征之间的交互特征信息时，除了对具有线性关系的低阶特征进行训练学习，还对具有非线性关系的低阶特征进行训练学习，因此，此CTR模型的预测结果，打破了传统预测模型的局限性。其中，此CTR模型中，第二层级整体是对低阶特征进行训练学习，而因子分解层采用了FM模型，用于学习低阶且具有线性关系的特征之间的交互特征信息，二阶交互层采用了Non-interaction layer模型，用于学习低阶且具有非线性关系的特征之间的交互特征信息。
3.本发明将残差网络应用到CTR模型中，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了由于输入CTR模型的用户行为特征过于稀疏而在CTR模型训练过程中出现的梯度问题，从而避免影响CTR模型性能。残差网络的应用，让此CTR模型在网络层次相对较深的情况下，依旧可以去的良好的预测效果。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的CTR模型示意图；
图2是本技术方案的主要步骤流程图；
图3是Frappe-Train曲线图；
图4是Frappe-Val曲线图；
图5是MovieLens-Train曲线图；
图6是MovieLens-Val曲线图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合图1、图2对本发明作详细说明。
实施例1
稀疏特征场景下进行点击转化预测的方法，包括以下步骤：
S1：建立CTR模型，所述CTR模型包括第一层级、第二层级、第三层级和第四层级；
S2：采集用户稀疏行为特征，并将此用户稀疏行为特征输入步骤S1中的CTR模型，进行矩阵化，得到用户稀疏特征矩阵；
S3：输入用户稀疏特征矩阵，通过CTR模型第一层级，将用户稀疏特征矩阵转化为密集嵌入矩阵；
S4：将密集嵌入矩阵输入第二层级，学习低阶交互特征，得到低阶特征之间的交互特征关系；
S5：将步骤S4中的输出作为第三层级的输入，学习高阶交互特征，得到高阶特征之间的交互特征关系；
S6：将步骤S5中的输出作为第四层级的输入，最终由第四层级输出点击转化预测值。
学习特征交互对于稀疏且庞大的用户行为特征来说是非常重要的，许多现有的CTR模型或多或少都考虑过学习特征交互的问题，其实验结果也能够体现出学习特征交互的重要性。特征交互包括低阶特征交互与高阶特征交互，本技术方案中，对于CTR模型，既考虑了低阶交互特征之间的交互特征关系，还考虑了高阶交互特征之间的交互特征关系，对比其它传统预测模型来说，能够显而易见的看到，同时考虑低阶交互特征与高阶交互特征，CTR模型的预测准确性能会显著提高。
实施例2
如图1所示，稀疏特征场景下进行点击转化预测的方法，包括以下步骤：
S1：建立CTR模型，所述CTR模型包括第一层级、第二层级、第三层级和第四层级；
S2：采集用户稀疏行为特征，并将此用户稀疏行为特征输入步骤S1中的CTR模型，进行矩阵化，得到用户稀疏特征矩阵；
S3：输入用户稀疏特征矩阵，通过CTR模型第一层级，将用户稀疏特征矩阵转化为密集嵌入矩阵；
S4：将密集嵌入矩阵分别输入第二层级的因子分解层和二阶交互层，其中因子分解层用于学习低阶且具有线性关系的特征之间的交互特征信息，二阶交互层用于学习低阶且具有非线性关系的特征之间的交互特征信息。
S5：将步骤S4中的输出作为第三层级的输入，学习高阶交互特征，得到高阶特征之间的交互特征关系；
S6：将步骤S5中的输出作为第四层级的输入，最终由第四层级输出点击转化预测值。
传统的预测模型在考虑低阶特征之间的交互特征信息时，只考虑线性关系的低阶特征，因此预测结果具有很大的局限性。本技术方案中，除了对具有线性关系的低阶特征进行训练学习，还对具有非线性关系的低阶特征进行训练学习，因此，此CTR模型的预测结果，打破了传统预测模型的局限性。其中，此CTR模型中，第二层级整体是对低阶特征进行训练学习，而因子分解层用于学习低阶且具有线性关系的特征之间的交互特征信息，二阶交互层用于学习低阶且具有非线性关系的特征之间的交互特征信息。
实施例3
本实施例为实施例2的补充说明。
如图1所示，所述因子分解层采用FM模型，学习低阶且具有线性关系的特征之间的交互特征信息。
FM模型具有以下几点优势：首先，FM模型即使在数据非常稀疏的情况下，依旧能够进行可靠的预测；其次，FM模型是线性时间复杂度的，可以直接使用原问题进行求解；另外，FM模型是一个通用模型，其训练数据的特征取值可以是任意实数，而其它先进的分解模型对于输入的数据有严格的限制。
实施例4
本实施例为实施例2的补充说明。
如图1所示，所述二阶交互层采用Non-interaction layer模型，学习低阶且具有非线性关系的特征之间的交互特征信息。
Non-interaction layer模型能够将多个矩阵转换成一个矩阵，通过将输入的密集嵌入矩阵，任意两两组合，得到新的矩阵，并最终将新的矩阵进行相加，最终就得到了Bi-interaction的输出，这Bi-interaction输出只有一个举证。Non-interaction layer模型的优势在于，实现了对二阶组合特征的建模，但是又没有引入额外的开销，包括参数数量和计算复杂度。
实施例5
如图2所示，稀疏特征场景下进行点击转化预测的方法，包括以下步骤：
S1：建立CTR模型，所述CTR模型包括第一层级、第二层级、第三层级和第四层级；
S2：采集用户稀疏行为特征，并将此用户稀疏行为特征输入步骤S1中的CTR模型，进行矩阵化，得到用户稀疏特征矩阵；
S3：输入用户稀疏特征矩阵，通过CTR模型第一层级，将用户稀疏特征矩阵转化为密集嵌入矩阵；
S4：将密集嵌入矩阵输入第二层级，学习低阶交互特征，得到低阶特征之间的交互特征关系；
S5：将步骤S4中的输出作为包含残差网络的第三层级的输入，学习高阶交互特征，得到高阶特征之间的交互特征关系；
S6：对步骤S5中第三层级的残差网络进行优化处理；
S7：将步骤S6中的输出作为第四层级的输入，最终由第四层级输出点击转化预测值。
我们知道增加神经网络的宽度和深度可以很好的提高神经网络的性能，但是在深层神经网络训练过程中，CTR模型的性能反而下降，这是由于对于更深层次的网络，更容易出现梯度***，梯度消失的问题，这就带来了网络层次越深，模型性能越差的问题。本技术方案中，对比其它传统预测模型，将残差网络应用到CTR模型中，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了由于输入CTR模型的用户行为特征过于稀疏而在CTR模型训练过程中出现的梯度问题，从而避免影响CTR模型性能。残差网络的应用，让此CTR模型在网络层次相对较深的情况下，依旧可以去的良好的预测效果。
实施例6
本实施例为实施例1、实施例2、实施例5的补充说明。
如图1所示，所述CTR模型的第一层级为嵌入层，将输入CTR模型的用户稀疏特征矩阵进行筛选，通过线性变化，得到密集嵌入矩阵。
嵌入层，即embedding layer，主要作用是将用户稀疏的行为特征矩阵通过一些线性变换，转换成一个密集矩阵，即上述的密集嵌入矩阵。此密集嵌入矩阵采用了n个特征来表征所有的用户特征，在此密集嵌入矩阵中，表象上代表着密集嵌入矩阵与单个特征之间一一对应的关系，实际上还蕴含着大量特征与特征之间的内在关系，这样的关系是实用嵌入层学习来的参数进行表征的。故而，嵌入，就是一个从稀疏矩阵转换到密集矩阵的一一对应的过程。在此技术方案中，使用通过嵌入层得到的密集嵌入矩阵，作为第二层级的输入，即为低阶交互特征的学习与高阶交互特征的学习的基础。
实施例7
本实施例为实施例1、实施例2、实施例5的补充说明。
如图1所示，所述CTR模型的第三层级为隐藏层，所述隐藏层采用了MLP模型。
MLP即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP模型可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的处理单元。MLP模型是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。而本技术方案在隐藏层中，通过MLP模型来学习高阶特征之间的交互特征信息。
实施例6
本实施例为实施例1-7的补充说明。
采用以下对比模型：FM模型、NFM模型、AFM模型；
采用以下数据集：Frappe数据集和MovieLens数据集。
得到的训练结果如表1所示：
表1
Figure BDA0002415823600000081
本申请文件中的模型在Frappe数据集下与其他模型对比的loss曲线如图3、图4所示。
本申请文件中的模型在MovieLens数据集下与其他模型对比的loss曲线如图5、图6所示。
结果说明：从训练结果我们可以看出，本申请的模型通过结合线性特征之间的交互关系和非线性特征之间的交互关系的信息，提高了模型性能，训练结果优于用于对比的主流模型。FM模型是常见的用来处理推荐***问题的线性模型，但是在庞大稀疏的数据集下，与神经网络相结合的CTR模型取得了更好的效果。Wide&Deep是谷歌提出了CTR模型，结合wide和deep模块获取用户信息，NFM是在Wide&Deep基础上增加FM模块发展起来的。这些模型在某些领域的确解决的一些问题，但是他们并没有考虑非线性特征之间的交互信息，对于应用于稀疏特征的场景有着局限性。很明显，在我们训练的两个数据集上，我们提出的DNFM模型都优于以上模型，这进一步的体现了我们非线性特征之间交互信息的重要性以及我们模型的优势和实用性。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (7)

1.稀疏特征场景下进行点击转化预测的方法，其特征在于：包括以下步骤：
S1：建立CTR模型，所述CTR模型包括第一层级、第二层级、第三层级和第四层级；
S2：采集用户稀疏行为特征，并将此用户稀疏行为特征输入步骤S1中的CTR模型，进行矩阵化，得到用户稀疏特征矩阵；
S3：输入用户稀疏特征矩阵，通过CTR模型第一层级，将用户稀疏特征矩阵转化为密集嵌入矩阵；
S4：将密集嵌入矩阵输入第二层级，学习低阶交互特征，得到低阶特征之间的交互特征关系；
S5：将步骤S4中的输出作为包含残差网络的第三层级的输入，学习高阶交互特征，得到高阶特征之间的交互特征关系；
S6：对步骤S5中第三层级的残差网络进行优化处理；
S7：将步骤S6中的输出作为第四层级的输入，最终由第四层级输出点击转化预测值。
2.根据权利要求1所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述CTR模型的第一层级为嵌入层，将输入CTR模型的用户稀疏特征矩阵进行筛选，通过线性变化，得到密集嵌入矩阵。
3.根据权利要求1所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述CTR模型的第二层级为因子分解层与二阶交互层。
4.根据权利要求3所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述因子分解层采用FM模型，学习低阶且具有线性关系的特征之间的交互特征信息。
5.根据权利要求3所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述二阶交互层采用Non-interaction layer模型，学习低阶且具有非线性关系的特征之间的交互特征信息。
6.根据权利要求1所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述CTR模型的第三层级为隐藏层，所述隐藏层采用了MLP模型。
7.根据权利要求1所述的稀疏特征场景下进行点击转化预测的方法，其特征在于：所述CTR模型的第四层级为预测层，基于残差网络的应用，从优化后的CTR模型中输出点击转化预测值。
CN202010190795.2A 2020-03-18 2020-03-18 稀疏特征场景下进行点击转化预测的方法 Expired - Fee Related CN111429175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190795.2A CN111429175B (zh) 2020-03-18 2020-03-18 稀疏特征场景下进行点击转化预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010190795.2A CN111429175B (zh) 2020-03-18 2020-03-18 稀疏特征场景下进行点击转化预测的方法

Publications (2)

Publication Number Publication Date
CN111429175A true CN111429175A (zh) 2020-07-17
CN111429175B CN111429175B (zh) 2022-05-27

Family

ID=71553654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010190795.2A Expired - Fee Related CN111429175B (zh) 2020-03-18 2020-03-18 稀疏特征场景下进行点击转化预测的方法

Country Status (1)

Country Link
CN (1) CN111429175B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561599A (zh) * 2020-12-24 2021-03-26 天津理工大学 一种融合域特征交互的基于注意力网络学习的点击率预测方法
CN113592549A (zh) * 2021-07-30 2021-11-02 北京奇艺世纪科技有限公司 一种转化率预测方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068216A1 (en) * 2015-03-13 2018-03-08 Institute Of Acoustics, Chinese Academy Of Sciences Big data processing method based on deep learning model satisfying k-degree sparse constraint
CN108804646A (zh) * 2018-06-06 2018-11-13 重庆邮电大学 一种融合深度学习和因子分解机的兴趣点签到预测方法
WO2018212711A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN109992710A (zh) * 2019-02-13 2019-07-09 网易传媒科技（北京）有限公司 点击率预估方法、***、介质和计算设备
CN110245310A (zh) * 2019-03-06 2019-09-17 腾讯科技（深圳）有限公司 一种对象的行为分析方法、装置及存储介质
CN110443353A (zh) * 2019-07-16 2019-11-12 天津大学 一种基于短连接的挖掘特征之间隐含关系的神经网络
CN110442810A (zh) * 2019-08-08 2019-11-12 广州华建工智慧科技有限公司 一种基于DeepFM推荐算法的移动端BIM模型智能缓存方法
CN110674857A (zh) * 2019-09-15 2020-01-10 桂林电子科技大学 一种基于多尺度堆叠网络的广告点击分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068216A1 (en) * 2015-03-13 2018-03-08 Institute Of Acoustics, Chinese Academy Of Sciences Big data processing method based on deep learning model satisfying k-degree sparse constraint
WO2018212711A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN108804646A (zh) * 2018-06-06 2018-11-13 重庆邮电大学 一种融合深度学习和因子分解机的兴趣点签到预测方法
CN109992710A (zh) * 2019-02-13 2019-07-09 网易传媒科技（北京）有限公司 点击率预估方法、***、介质和计算设备
CN110245310A (zh) * 2019-03-06 2019-09-17 腾讯科技（深圳）有限公司 一种对象的行为分析方法、装置及存储介质
CN110443353A (zh) * 2019-07-16 2019-11-12 天津大学 一种基于短连接的挖掘特征之间隐含关系的神经网络
CN110442810A (zh) * 2019-08-08 2019-11-12 广州华建工智慧科技有限公司 一种基于DeepFM推荐算法的移动端BIM模型智能缓存方法
CN110674857A (zh) * 2019-09-15 2020-01-10 桂林电子科技大学 一种基于多尺度堆叠网络的广告点击分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JESSE-JIA: "(读论文)推荐***之crt预估-NFM模型解析", 《HTTPS://WWW.CNBLOGS.COM/JESEE/P/11267985.HTML》 *
XIANNAN HE 等: "Neural Factorization Machines for Sparse Predictive Analytics", 《PROCEEDINGS OF THE 40TH INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION》 *
李遥 等: "基于深度残差网络的DeepFM点击率预测模型", 《软件导刊》 *
王学斌: "一种基于深度偏好网络的点击率预估模型的设计与评价", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561599A (zh) * 2020-12-24 2021-03-26 天津理工大学 一种融合域特征交互的基于注意力网络学习的点击率预测方法
CN113592549A (zh) * 2021-07-30 2021-11-02 北京奇艺世纪科技有限公司 一种转化率预测方法、装置和电子设备
CN113592549B (zh) * 2021-07-30 2024-03-12 北京奇艺世纪科技有限公司 一种转化率预测方法、装置和电子设备

Also Published As

Publication number Publication date
CN111429175B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110955834B (zh) 一种知识图谱驱动的个性化精准推荐方法
CN109785062B (zh) 一种基于协同过滤模型的混合神经网络推荐***
CN108874914A (zh) 一种基于图卷积与神经协同过滤的信息推荐方法
CN111143705B (zh) 一种基于图卷积网络的推荐方法
CN103399858A (zh) 基于信任的社会化协同过滤推荐方法
CN113592609B (zh) 一种利用时间因素的个性化服饰搭配推荐方法与***
CN111429175B (zh) 稀疏特征场景下进行点击转化预测的方法
CN110110372B (zh) 一种用户时序行为自动切分预测方法
CN115269977A (zh) 一种基于图神经网络的融合知识与协同信息的推荐方法
CN113051468A (zh) 一种基于知识图谱和强化学习的电影推荐方法及***
CN114386513A (zh) 一种集成评论与评分的交互式评分预测方法及***
CN109657725B (zh) 一种基于复杂时空情境感知的服务质量预测方法及***
CN116228368A (zh) 一种基于深度多行为网络的广告点击率预测方法
Zhang et al. Inferring latent network from cascade data for dynamic social recommendation
CN113987330A (zh) 一种基于多层次潜在特征的个性化推荐模型的构建方法
Sahu et al. Matrix factorization in cross-domain recommendations framework by shared users latent factors
Thirunavukarasu et al. People to people recommendation using coupled nonnegative boolean matrix factorization
CN116542742A (zh) 基于多关系类型的非同质性动态社交推荐方法
CN116304289A (zh) 基于图神经网络的供应链的信息链推荐方法及装置
Yu et al. Common set of weights in data envelopment analysis under prospect theory
CN115525819A (zh) 一种面向信息茧房的跨领域推荐方法
CN113034231B (zh) 一种基于SaaS云服务的多供应链商品智能推荐***及方法
CN116049544A (zh) 一种全局因子分解的多特征融合网络兴趣预测方法
CN113313535A (zh) 一种基于多域分区集成网络的点击率预估方法
CN113569139A (zh) 一种个性化会话推荐方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220527