CN112559877A - 基于跨平台异构数据及行为上下文的ctr预估方法及*** - Google Patents

基于跨平台异构数据及行为上下文的ctr预估方法及*** Download PDF

Info

Publication number
CN112559877A
CN112559877A CN202011545280.6A CN202011545280A CN112559877A CN 112559877 A CN112559877 A CN 112559877A CN 202011545280 A CN202011545280 A CN 202011545280A CN 112559877 A CN112559877 A CN 112559877A
Authority
CN
China
Prior art keywords
user
feature
ctr
layer
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011545280.6A
Other languages
English (en)
Inventor
高茜
李继鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011545280.6A priority Critical patent/CN112559877A/zh
Publication of CN112559877A publication Critical patent/CN112559877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于跨平台异构数据及行为上下文的CTR预估方法及***，属于大数据及自然语言处理领域，本发明要解决的技术问题为如何对用户兴趣进行深度挖掘，提高点击率预估精度，技术方案为：数据采集及预处理：采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；预估用户实时兴趣：通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣；提取图片特征：通过残差网络对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；获取CTR精准预估结果：将拼接后的图片特征向量作为MLP网络的输入，通过MLP网络进行高阶特征提取和最终结果的预估，得到物品CTR的精确预估。

Description

基于跨平台异构数据及行为上下文的CTR预估方法及***
技术领域
本发明涉及大数据及自然语言处理领域，具体地说是一种基于跨平台异构数据及行为上下文的CTR预估方法及***。
背景技术
点击率(Click-through Rate，CTR)是指某一内容被点击次数与被展示次数的比例，一般用于描述内容被用户点击的概率。CTR预估，是指通过一系列相关数据与技术去预测特定场景下物品或内容被用户点击的概率。
在内容推荐和在线广告领域，由于预估的CTR可以很好地反映特定场景下用户对内容的偏好程度，进而根据预估CTR的大小对推荐内容进行合理的排序、截断，形成更符合用户偏好和行为习惯的推荐列表，最终达到提高用户对应用的喜爱程度、使用时长或者提高应用内广告的变现效率等目的。因此，如何提高CTR预估的准确性已经成为各大企业在内容推荐、在线广告等领域最为核心及关键的研究课题。
鉴于CTR预估在内容推荐、在线广告等互联网应用领域的独特地位，越来越多的企业投入大量的人力物力在CTR预估模型的研究上。目前在计算机视觉、自然语言处理领域不断发展的深度学习技术，凭借其在大数据集下良好的并行处理能力和对高阶复杂特征的高效挖掘、抽象能力，也逐步成为CTR预估模型领域的热门研究内容。故如何对用户兴趣进行深度挖掘，提高点击率预估精度是目前现有技术中亟待解决的问题。
发明内容
本发明的技术任务是提供一种基于跨平台异构数据及行为上下文的CTR预估方法及***，来解决如何对用户兴趣进行深度挖掘，提高点击率预估精度的问题。
本发明的技术任务是按以下方式实现的，一种基于跨平台异构数据及行为上下文的CTR预估方法，该方法具体如下：
数据采集及预处理：采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
预估用户实时兴趣：通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
提取图片特征：通过残差网络(ResNet)对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
获取CTR精准预估结果：将拼接后的图片特征向量作为MLP网络(多层全连接网络)的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
作为优选，数据采集及预处理具体如下：
构建基本特征：根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征；
特征转化：通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure BDA0002855508080000021
其中，i∈[1,n]，n为特征总个数；
Figure BDA0002855508080000022
表示featurei第j种取值对应的表征向量，j∈[1,mi]；d表示稠密向量
Figure BDA0002855508080000023
的维度；mi表示featurei的取值个数；
通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei。
作为优选，预估用户实时兴趣具体如下：
通过Embedding层对用户跨平台异构数据(点击物品或搜索物品)转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1,e2,…,en]。
作为优选，提取图片特征具体如下：
采用残差网络提取待推荐物品图片特征：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i,j+k][j,j+k])；
使用四组残差块，在残差块之间进行一次卷积操作，以减少特征空间大小；
加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接。
更优地，所述MLP网络(多层全连接网络)用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
第一层为输入层，将提取的特征拼接为a0，即a0＝[eu,ec,e1,e2,…,eG]；
多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
通过softmax层输出p(x)；
定义损失函数为L，公式如下：
Figure BDA0002855508080000031
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0,1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC(receiver operating characteristic curve)值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高，本发明使得AUC值得到提高。
一种基于跨平台异构数据及行为上下文的CTR预估***，该***包括，
数据采集及预处理单元，用于采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
兴趣预估单元，用于通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
图片特征提取单元，用于通过残差网络(ResNet)对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
预估结果获取单元，用于将拼接后的图片特征向量作为MLP网络(多层全连接网络)的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
作为优选，所述数据采集及预处理单元包括，
基本特征构建模块，用于根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征；
特征转化模块，用于通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure BDA0002855508080000041
其中，i∈[1,n]，n为特征总个数；
Figure BDA0002855508080000042
表示featurei第j种取值对应的表征向量，j∈[1,mi]；d表示稠密向量
Figure BDA0002855508080000043
的维度；mi表示featurei的取值个数；
通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei；
所述兴趣预估单元包括，
注意力分布计算模块，用于通过Embedding层对用户跨平台异构数据(点击物品或搜索物品)转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
兴趣权重获取模块，用于计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
基础权重获取模块，用于根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
最终权重获取模块，用于通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
聚合特征获取模块，用于对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1,e2,…,en]。
更优地，所述图片特征提取单元包括，
特征提取模块，用于采用残差网络提取待推荐物品图片特征，具体为：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i,j+k][j,j+k])；
卷积操作模块，用于使用四组残差块，在残差块之间进行一次卷积操作，以减少特征空间大小；
池化操作模块，用于加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
降维模块，用于经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接；
所述MLP网络(多层全连接网络)用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
第一层为输入层，将提取的特征拼接为a0，即a0＝[eu,ec,e1,e2,…,eG]；
多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
通过softmax层输出p(x)；
定义损失函数为L，公式如下：
Figure BDA0002855508080000061
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0,1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC(receiver operating characteristic curve)值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高，本发明使得AUC值得到提高。
一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于跨平台异构数据及行为上下文的CTR预估方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于跨平台异构数据及行为上下文的CTR预估方法。
本发明的基于跨平台异构数据及行为上下文的CTR预估方法及***具有以下优点：
(一)相较于传统的基于深度学***台的异构数据，从而更加深刻挖掘了用户的兴趣，更加精确地在不同上下文情况进行CTR预估，提升了整体CTR预估的准确率；
(二)本发明采用上下文信息融合、Embedding技术、注意力机制、多模态特征融合、深度学***台使搜索浏览及点击数据、时间地点上下文)进行处理并通过融合用户跨平台的行为数据，利用注意力机制进行深度兴趣挖掘，采用ResNet对物品图片进行高阶特征挖掘，将不同特征向量进行拼接作为MLP网络的输入，再通过MLP网络进行高阶特征的提取和最终结果的预估，优势互补，得到物品CTR的精确预估，解决了当数据集部分信息缺乏时物品CTR预估不精确的问题，提升了模型的鲁棒性；
(三)本发明引入了注意力机制，注意力机制借鉴了人类视觉的处理方式，将注意力集中于关键区域，这种机制的本质就是从诸多信息中选择对任务起关键作用的信息，减少任务的复杂度；本发明通过注意力机制将跨平台异构数据进行利用，即将用户行为通过注意力机制与当下行为联系起来，更好地预估用户的实时兴趣，从而提高了预测能力；这样,用户兴趣的表示向量随物品的不同而变化，提高了在有限维度下的表示能力，能够更好地量化用户的不同兴趣；
(四)本发明通过Embedding层将高维稀疏向量转化为低维实数向量，能有效地降低特征的维度，通过Embedding层将其转变为低维实数向量，用来缓解稀疏性问题。
附图说明
下面结合附图对本发明进一步说明。
附图1为用户跨平台异构数据及基本上下文数据的示意图
附图2为基于跨平台异构数据及行为上下文的CTR预估方法的示意图；
附图3为残差网络结构图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于跨平台异构数据及行为上下文的CTR预估方法及***作以下详细地说明。
实施例1：
如附图2所示，本发明的基于跨平台异构数据及行为上下文的CTR预估方法，该方法具体如下：
S1、数据采集及预处理：采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
S2、预估用户实时兴趣：通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
S3、提取图片特征：通过残差网络(ResNet)对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
S4、获取CTR精准预估结果：将拼接后的图片特征向量作为MLP网络(多层全连接网络)的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
本实施例中步骤S1的数据采集及预处理具体如下：
S101、构建基本特征：根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征，如附图1所示；
S102、特征转化：通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
S10201、对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure BDA0002855508080000081
其中，i∈[1,n]，n为特征总个数；
Figure BDA0002855508080000082
表示featurei第j种取值对应的表征向量，j∈[1,mi]；d表示稠密向量
Figure BDA0002855508080000083
的维度；mi表示featurei的取值个数；
S10202、通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei。
本实施例中步骤S2的预估用户实时兴趣具体如下：
S201、通过Embedding层对用户跨平台异构数据(点击物品或搜索物品)转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
S202、计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
S203、根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
S204、通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
S205、对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1,e2,…,en]。
本实施例中步骤S3的提取图片特征具体如下：
S301、如附图3所示，采用残差网络提取待推荐物品图片特征：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i,j+k][j,j+k])；
S302、使用四组残差块，在残差块之间进行一次卷积操作，以减少特征空间大小；
S303、经过四块残差块后，再加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
S304、经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接。
本实施例中的MLP网络(多层全连接网络)用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
S401、第一层为输入层，将提取的特征拼接为a0，即a0＝[eu,ec,e1,e2,…,eG]；
S402、多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
S403、通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
S404、通过softmax层输出p(x)；
S405、定义损失函数为L，公式如下：
Figure BDA0002855508080000091
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0,1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC(receiver operating characteristic curve)值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高，本发明使得AUC值得到提高。
使用某网购数据集，AUC值对比如下表：
项目 AUC
LR 0.7263
BaseModel 0.7300
PNN 0.7321
DeepFm 0.7341
本发明 0.7402
由上表可知，本发明与传统技术相比能够提高AUC值，进而提高点击率预估精度。
实施例2：
本发明的基于跨平台异构数据及行为上下文的CTR预估***，该***包括，
数据采集及预处理单元，用于采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
兴趣预估单元，用于通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
图片特征提取单元，用于通过残差网络(ResNet)对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
预估结果获取单元，用于将拼接后的图片特征向量作为MLP网络(多层全连接网络)的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
本实施例中的数据采集及预处理单元包括，
基本特征构建模块，用于根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征；
特征转化模块，用于通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure BDA0002855508080000101
其中，i∈[1,n]，n为特征总个数；
Figure BDA0002855508080000102
表示featurei第j种取值对应的表征向量，j∈[1,mi]；d表示稠密向量
Figure BDA0002855508080000103
的维度；mi表示featurei的取值个数；
通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei；
本实施例中的兴趣预估单元包括，
注意力分布计算模块，用于通过Embedding层对用户跨平台异构数据(点击物品或搜索物品)转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
兴趣权重获取模块，用于计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
基础权重获取模块，用于根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
最终权重获取模块，用于通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
聚合特征获取模块，用于对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1,e2,…,en]。
本实施例中的图片特征提取单元包括，
特征提取模块，用于采用残差网络提取待推荐物品图片特征，具体为：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i,j+k][j,j+k])；
卷积操作模块，用于使用四组残差块，在残差块之间进行一次卷积操作，以减少特征空间大小；
池化操作模块，用于加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
降维模块，用于经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接；
本实施例中的MLP网络(多层全连接网络)用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
第一层为输入层，将提取的特征拼接为a0，即a0＝[eu,ec,e1,e2,…,eG]；
多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
通过softmax层输出p(x)；
定义损失函数为L，公式如下：
Figure BDA0002855508080000121
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0,1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC(receiver operating characteristic curve)值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高，本发明使得AUC值得到提高。
实施例3：
本发明实施例还提供了一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行本发明任一实施例中的基于跨平台异构数据及行为上下文的CTR预估方法。
实施例4：
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于跨平台异构数据及行为上下文的CTR预估方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于跨平台异构数据及行为上下文的CTR预估方法，其特征在于，该方法具体如下：
数据采集及预处理：采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
预估用户实时兴趣：通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
提取图片特征：通过残差网络对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
获取CTR精准预估结果：将拼接后的图片特征向量作为MLP网络的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
2.根据权利要求1所述的基于跨平台异构数据及行为上下文的CTR预估方法，其特征在于，数据采集及预处理具体如下：
构建基本特征：根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征；
特征转化：通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure FDA0002855508070000011
其中，i∈[1，n]，n为特征总个数；
Figure FDA0002855508070000012
表示featurei第j种取值对应的表征向量，j∈[1，mi]；d表示稠密向量
Figure FDA0002855508070000013
的维度；mi表示featurei的取值个数；
通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei。
3.根据权利要求1所述的基于跨平台异构数据及行为上下文的CTR预估方法，其特征在于，预估用户实时兴趣具体如下：
通过Embedding层对用户跨平台异构数据转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1，e2，…，en]。
4.根据权利要求1所述的基于跨平台异构数据及行为上下文的CTR预估方法，其特征在于，提取图片特征具体如下：
采用残差网络提取待推荐物品图片特征：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i，j+k][j，j+k])；
使用四组残差块，在残差块之间进行一次卷积操作；
加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接。
5.根据权利要求1-4中任一所述的基于跨平台异构数据及行为上下文的CTR预估方法，其特征在于，所述MLP网络用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
第一层为输入层，将提取的特征拼接为a0，即a0＝[eu，ec，e1，e2，…，eG]；
多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
通过softmax层输出p(x)；
定义损失函数为L，公式如下：
Figure FDA0002855508070000031
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0，1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高。
6.一种基于跨平台异构数据及行为上下文的CTR预估***，其特征在于，该***包括，
数据采集及预处理单元，用于采集不同平台的异构数据，对用户跨平台异构数据进行数据预处理；
兴趣预估单元，用于通过注意力机制将跨平台异构数据进行融入，即将用户行为通过注意力机制与当下行为联系起来，更好的预估用户的实时兴趣，从而提高CTR预估的准确性；
图片特征提取单元，用于通过残差网络对待推荐物品进行图片特征提取，再将所有特征向量进行拼接；
预估结果获取单元，用于将拼接后的图片特征向量作为MLP网络的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
7.根据权利要求6所述的基于跨平台异构数据及行为上下文的CTR预估***，其特征在于，所述数据采集及预处理单元包括，
基本特征构建模块，用于根据硬件设备或手机APP获取到的基本上下文信息及用户信息构建离散特征和连续性数据特征；
特征转化模块，用于通过Embedding层将采集到的用户离散特征转变为低维实数向量，缓解稀疏性；具体如下：
对于任意一个特征featurei，Embedding层通过不断训练更新为featurei的所有可能取值建立一个稠密向量映射表ei，具体如下：
Figure FDA0002855508070000041
其中，i∈[1，n]，n为特征总个数；
Figure FDA0002855508070000042
表示featurei第j种取值对应的表征向量，j∈[1，mi]；d表示稠密向量
Figure FDA0002855508070000043
的维度；mi表示featurei的取值个数；
通过Embedding层后，得到基本上下文特征ec、用户基本特征eu及待推荐物品基本特征ei；
所述兴趣预估单元包括，
注意力分布计算模块，用于通过Embedding层对用户跨平台异构数据转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
兴趣权重获取模块，用于计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
基础权重获取模块，用于根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
最终权重获取模块，用于通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
聚合特征获取模块，用于对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征[e1，e2，…，en]。
8.根据权利要求6或7所述的基于跨平台异构数据及行为上下文的CTR预估***，其特征在于，所述图片特征提取单元包括，
特征提取模块，用于采用残差网络提取待推荐物品图片特征，具体为：采用7*7的卷积块，进行步长为2的卷积，再通过池化层对特征图进行压缩，即f(z)＝max(z[i，j+k][j，j+k])；
卷积操作模块，用于使用四组残差块，在残差块之间进行一次卷积操作；
池化操作模块，用于加入池化层对其进行池化操作，经过网络层后，对于输入创意图G的特征提取完毕；
降维模块，用于经过一个包含256个神经元的全连接层，将所有特征相连并降维成256维向量的形式，记为eG，将eG与其余特征进行拼接；
所述MLP网络用于利用多层网络结构自动学习到特征间的非线性关联，最终得到高阶特征，从而充分挖掘特征间的非线性关联，从而更有效低提高点击率预测的结果；具体如下：
第一层为输入层，将提取的特征拼接为a0，即a0＝[eu，ec，e1，e2，…，eG]；
多层隐藏层，每个隐藏层执行如下计算：
z(l+1)＝ωlal+bl；
a(l+1)＝σl(zl+1)；
其中，l表示隐藏层层数；σ表示激活函数；
由上述公式可得：
a(l+1)＝σl(ωlal+bl)；
通过全连接网络得到最终输出：
h(l)＝σl(ωl(σl-1(wl-1…σ1(ω1a0+b1))+bl-1)+bl)；
通过softmax层输出p(x)；
定义损失函数为L，公式如下：
Figure FDA0002855508070000061
其中，S表示大小为N的训练集；x表示网络的输入；y表示真实值，即是否点击，y∈{0，1}；p(x)表示softmax层后的网络输出，表示样本x被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，能够最小化基于训练数据集D的损失L，使得计算得到的预测值p(x)与真实值y接近，使用AUC值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至5任一项所述的基于跨平台异构数据及行为上下文的CTR预估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至5中所述的基于跨平台异构数据及行为上下文的CTR预估方法。
CN202011545280.6A 2020-12-24 2020-12-24 基于跨平台异构数据及行为上下文的ctr预估方法及*** Pending CN112559877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011545280.6A CN112559877A (zh) 2020-12-24 2020-12-24 基于跨平台异构数据及行为上下文的ctr预估方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011545280.6A CN112559877A (zh) 2020-12-24 2020-12-24 基于跨平台异构数据及行为上下文的ctr预估方法及***

Publications (1)

Publication Number Publication Date
CN112559877A true CN112559877A (zh) 2021-03-26

Family

ID=75031948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011545280.6A Pending CN112559877A (zh) 2020-12-24 2020-12-24 基于跨平台异构数据及行为上下文的ctr预估方法及***

Country Status (1)

Country Link
CN (1) CN112559877A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254501A (zh) * 2021-06-07 2021-08-13 上海二三四五网络科技有限公司 一种通过将连续特征离散化预测程序tad的控制方法及装置
CN116738034A (zh) * 2022-10-10 2023-09-12 荣耀终端有限公司 一种信息推送方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083770A (zh) * 2019-04-29 2019-08-02 苏州市职业大学 一种基于特征层面更深的自注意力网络的序列推荐方法
CN110516791A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于多重注意力的视觉问答方法及***
CN110717098A (zh) * 2019-09-20 2020-01-21 中国科学院自动化研究所 基于元路径的上下文感知用户建模方法、序列推荐方法
CN111538761A (zh) * 2020-04-21 2020-08-14 中南大学 基于注意力机制的点击率预测方法
US20200265466A1 (en) * 2019-02-19 2020-08-20 Nec Laboratories America, Inc. Interpretable click-through rate prediction through hierarchical attention
CN112084450A (zh) * 2020-09-09 2020-12-15 长沙理工大学 基于卷积注意力网络深度会话序列的点击率预测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265466A1 (en) * 2019-02-19 2020-08-20 Nec Laboratories America, Inc. Interpretable click-through rate prediction through hierarchical attention
CN110083770A (zh) * 2019-04-29 2019-08-02 苏州市职业大学 一种基于特征层面更深的自注意力网络的序列推荐方法
CN110516791A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于多重注意力的视觉问答方法及***
CN110717098A (zh) * 2019-09-20 2020-01-21 中国科学院自动化研究所 基于元路径的上下文感知用户建模方法、序列推荐方法
CN111538761A (zh) * 2020-04-21 2020-08-14 中南大学 基于注意力机制的点击率预测方法
CN112084450A (zh) * 2020-09-09 2020-12-15 长沙理工大学 基于卷积注意力网络深度会话序列的点击率预测方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
姚振旭: "基于深度强化学习融合社交网络信息的推荐***", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
方小妹: "融合用户和物品信息的个性化推荐算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王学斌: "一种基于深度偏好网络的点击率预估模型的设计与评价", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈文花: "基于深度学习的图片广告点击率预估研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254501A (zh) * 2021-06-07 2021-08-13 上海二三四五网络科技有限公司 一种通过将连续特征离散化预测程序tad的控制方法及装置
CN116738034A (zh) * 2022-10-10 2023-09-12 荣耀终端有限公司 一种信息推送方法及***

Similar Documents

Publication Publication Date Title
CN109902849B (zh) 用户行为预测方法及装置、行为预测模型训练方法及装置
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN112364976B (zh) 基于会话推荐***的用户偏好预测方法
CN111723292B (zh) 基于图神经网络的推荐方法、***、电子设备及存储介质
CN111429161B (zh) 特征提取方法、特征提取装置、存储介质及电子设备
CN112905897B (zh) 相似用户确定方法、向量转化模型、装置、介质及设备
CN112487199A (zh) 一种基于用户购买行为的用户特征预测方法
CN113657087B (zh) 信息的匹配方法及装置
CN112559877A (zh) 基于跨平台异构数据及行为上下文的ctr预估方法及***
WO2024041483A1 (zh) 一种推荐方法及相关装置
CN115062732A (zh) 基于大数据用户标签信息的资源共享合作推荐方法及***
CN114281976A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN115545832A (zh) 商品搜索推荐方法及其装置、设备、介质
CN110704650B (zh) Ota图片标签的识别方法、电子设备和介质
CN116340635A (zh) 物品推荐方法、模型训练方法、装置及设备
CN113239215B (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
CN115618079A (zh) 会话推荐方法、装置、电子设备及存储介质
CN114528491A (zh) 信息处理方法、装置、计算机设备和存储介质
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN114153965A (zh) 一种结合内容和图谱的舆情事件推荐方法、***及终端
CN115374360B (zh) 媒体资源的召回方法和媒体资源召回模型的训练方法
EP4318375A1 (en) Graph data processing method and apparatus, computer device, storage medium and computer program product
CN117216548A (zh) 推荐数据评估模型的构建方法、推荐数据评估方法和装置
CN115205733A (zh) 视频识别方法、装置、设备、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326

RJ01 Rejection of invention patent application after publication