CN112084450A - 基于卷积注意力网络深度会话序列的点击率预测方法及*** - Google Patents
基于卷积注意力网络深度会话序列的点击率预测方法及*** Download PDFInfo
- Publication number
- CN112084450A CN112084450A CN202010950087.4A CN202010950087A CN112084450A CN 112084450 A CN112084450 A CN 112084450A CN 202010950087 A CN202010950087 A CN 202010950087A CN 112084450 A CN112084450 A CN 112084450A
- Authority
- CN
- China
- Prior art keywords
- term
- click data
- user
- click
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 56
- 230000007774 longterm Effects 0.000 claims abstract description 43
- 230000015654 memory Effects 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000006399 behavior Effects 0.000 claims abstract description 18
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000002452 interceptive effect Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种基于卷积注意力网络深度会话序列的点击率预测方法及***。所述方法包括：获取用户历史行为产生的点击数据，将点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征，根据点击数据的时间信息，将点击数据转化为会话序列，将会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征，将长期交互特征和短期交互特征进行融合，得到融合特征，将融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。采用本方法能够提高点击预测的准确率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于卷积注意力网络深度会话序列的点击率预测方法及***。
背景技术
推荐***(RS)在协助用户在Web规模的应用程序(例如Amazon和Taobao)中找到他们喜欢的物品时变得越来越不可缺少。推荐***就是***根据用户的属性(如性别、年龄、学历、地域、职业)，用户在***里过去的行为(例如浏览、点击、搜索、购买、收藏等)，以及当前上下文环境(如网络、手机设备、时间等)，从而给用户推荐用户可能感兴趣的物品(如电商的商品、feeds推荐的新闻、应用商店推荐的app等)，从这个过程来看，推荐***就是一个给用户匹配(match)感兴趣的项目的过程。
通常，推荐***包括两个阶段：候选者生成和候选者排名。候选生成阶段采用一些幼稚但高效的推荐算法(例如，基于项目的协作过滤。从庞大的整个项目集中提供相对较小的一组项目进行排名。在候选排名阶段，复杂但功能强大的模型对候选者进行排名，以选择推荐的前k个项目。我们主要关注候选者的排名阶段和点击率(CTR)预测任务，这意味着假设一个相对较小的项目集已提供排名，将根据其CTR得分预测对项目进行排名。
虽然有了比较成熟的框架，但是推荐***还是面临着比较繁多的问题，比如新用户的冷启动问题，用户的数据的噪声问题，许多用户的历史行为数据大量稀疏缺小问题和用户个人兴趣不同的问题都会导致对用户推荐的效率下降。基于目前对用户推荐的准确度不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决目前用户推荐的准确率不高问题的基于卷积注意力网络深度会话序列的点击率预测方法及***。
一种基于卷积注意力网络深度会话序列的点击率预测方法，所述方法包括：
获取用户历史行为产生的点击数据；
将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
在其中一个实施例中，还包括：获取用户会话产生的稀疏数据；对所述稀疏数据向量化，得到低维密度矢量的点击数据。
在其中一个实施例中，还包括：通过自注意力池化层对所述点击数据进行处理如下：
其中，αi表示自注意力系数，
表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；对所述自注意力系数进行归一化为：
其中，α′i表示归一化结果，x′i∈Xj表示所述点击数据中的会话子数据；根据所述归一化结果对所述点击数据进行池化，得到自注意力点击数据。
在其中一个实施例中，还包括：根据自注意力点击数据之间的外积，构建二维交互特征；根据由所述点击数据中所有所述二维交互特征，构建三维张量；将所述三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。
在其中一个实施例中，还包括：根据时间信息，将所述点击数据转化为会话序列；根据预先设置的时间间隔，将所述会话序列转化为短期点击数据。
在其中一个实施例中，还包括：根据所述会话序列中点击数据的位置信息，设置偏编码；根据所述偏编码对所述短期点击数据进行更新，得到偏置短期点击数据；采用多头自注意力机制对所述偏置短期点击数据进行池化，并将池化后的结果输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。
在其中一个实施例中，还包括：采用串联和平滑方式，将所述长期交互特征和所述短期交互特征进行融合，得到融合特征。
一种基于卷积注意力网络深度会话序列的点击率预测***，所述***包括：
数据获取模块，用于获取用户历史行为产生的点击数据；
长期特征提取模块，用于将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
短期特征提取模块，用于根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
特征融合模块，用于将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
点击预测模块，用于将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取用户历史行为产生的点击数据；
将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取用户历史行为产生的点击数据；
将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
上述基于卷积注意力网络深度会话序列的点击率预测方法、***、计算机设备和存储介质，一方面通过卷积神经网络从点击数据中提取用户的长期交互特征，另一方面，构建了会话序列，通过双向长短时记忆网络从会话序列中提取用户的短期交互特征，从而更加有效的提取用户短期的动态兴趣和用户长期的隐藏兴趣，从而在进行预测时，可以显著的提高预测的准确率。
附图说明
图1为一个实施例中基于卷积注意力网络深度会话序列的点击率预测方法的流程示意图；
图2为一个实施例中提取长期交互特征步骤的流程示意图；
图3为一个实施例中卷积神经网络的示意性结构图；
图4为一个实施例中卷积层处理步骤的流程示意图；
图5为一个实施例中提取短期交互特征步骤的流程示意图；
图6为一个实施例中基于卷积注意力网络深度会话序列的点击率预测***的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于卷积注意力网络深度会话序列的点击率预测方法，包括以下步骤：
步骤102，获取用户历史行为产生的点击数据。
历史行为指的是用户在互联网、局域网或者本地通过点击相对应的内容产生的交互数据，交互数据中可能隐含了用户的兴趣的偏向或者趋势。
点击数据即用户历史行为产生的数据，通过对点击数据的分析，可以提取出用户的兴趣。
步骤104，将点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征。
预先训练的卷积神经网络指的是根据预先获取的点击数据构建的训练集训练的得到的，从而在点击数据输入预先训练的卷积神经网络后，可以提取出用户的长期交互特征。
卷积神经网络(Convolutional Neural Networks,CNN)，是深度学习算法之一，通过对点击数据进行池化、卷积等处理，可以有效的提取出用户的长期交互特征。
步骤106，根据点击数据的时间信息，将点击数据转化为会话序列，将会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。
会话序列中带有时间信息，而双向长短时记忆网络向前或者向后均会保留上一时刻的信息，因此，利用双向长短时记忆网络，可以准确的提取出用户的短期交互特征。
步骤108，将长期交互特征和短期交互特征进行融合，得到融合特征。
可以采用拼接、叠加等方式进行特征融合。
步骤110，将融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据兴趣类型进行点击率预测。
指的说明的是，可以将点击率的预测融入全连接神经网络模型的输出层，再次不做具体的限制。
上述基于卷积注意力网络深度会话序列的点击率预测方法中，一方面通过卷积神经网络从点击数据中提取用户的长期交互特征，另一方面，构建了会话序列，通过双向长短时记忆网络从会话序列中提取用户的短期交互特征，从而更加有效的提取用户短期的动态兴趣和用户长期的隐藏兴趣，从而在进行预测时，可以显著的提高预测的准确率。
在其中一个实施例中，可以通过以下方式获得点击数据：获取用户会话产生的稀疏数据；对稀疏数据向量化，得到低维密度矢量的点击数据。
具体的，稀疏数据X通过Embedding向量化，将大规模稀疏数据转化为了低维密度矢量的点击数据Vi，其中，Vi∈Rd，d是Embedding的尺寸。
在另一个实施例中，还需要对点击数据进行如下处理：通过自注意力池化层对点击数据进行处理如下：
其中，αi表示自注意力系数，
表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；对自注意力系数进行归一化为：
其中，α′i表示归一化结果，xi∈Xj表示点击数据中的会话子数据，根据归一化结果对点击数据进行池化，得到自注意力点击数据。
本实施例中，由于输入数据存在大量的稀疏性导致点击数据Vi规模太大增加了模型的时间复杂度，为此采用自注意力池化层以增加对有效特征的提取。
具体的，根据归一化结果对点击数据进行池化，得到自注意力点击数据可以是：
其中，ej表示自注意力点击数据。
在又一实施例中，如图2所示，提取长期交互特征的步骤包括：
步骤202，根据自注意力点击数据之间的外积，构建二维交互特征。
步骤204，根据由点击数据中所有二维交互特征，构建三维张量。
即任意两个点击数据之间可以进行交互，本步骤需要计算点击数据中所有二维交互特征，从而按照预定的顺序，可以构建三维张量。
步骤206，将三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。
具体的，对于步骤202，若自注意力点击数据ei和ej进行交互，得到的二维交互特征为：
二维交互特征为d×d矩阵，可以看作是一个二维“图像”，既包含交互信号又包含嵌入维数相关性。假设点击数据包含p个特征场，则生成的“图像”总数为p(p-1)/2。
对于步骤204，构建的三维张量为：
C＝[M1,2,M1,3,...,Mi,j,...,Mp-1,p]
由公式可知，上述所有“图像”都堆叠在一起以形成3D张量C。
对于步骤206，如图3所示，卷积神经网络采用的是三维卷积神经网络以处理三维张量。稀疏数据输入之后，进行编码层进行编码，然后进行自注意力池化，得到自注意力点击数据，通过特征交汇层进行处理，最终输出用户的长期交互特征。
三维卷积神经网络进行卷积处理的过程如下，假设嵌入尺寸d＝64，特征场数p＝10，则三维张量的尺寸为64×64×45。图4说明了具有6个隐藏层的堆叠式三维卷积神经网络的结构，其中每个隐藏层具有32个通道，并且在所有三个方向上都进行了卷积运算。
在其中一个实施例中，会话序列构建的步骤如下：根据时间信息，将点击数据转化为会话序列，根据预先设置的时间间隔，将会话序列转化为短期点击数据。
具体的，会话序列S＝[b1；....；bi；....；bN]∈RN×d，其中，其中N是会话的数量，bi表示第i个点击数据。为了提取更精确的用户会话兴趣，将用户的行为序列S划分为会话Q，其中第k个会话Qk＝[b1；...；bi；...；bT]∈RT×d，T是数量，在会话中保留的行为，bi是用户在会话中的第i个数据。
具体的，用户会话的细分存在于时间间隔超过30分钟的相邻行为之间。
在其中一个实施例中，如图5所示，提取短期交互特征的步骤如下：
步骤502，根据所会话序列中点击数据的位置信息，设置偏编码；
步骤504，根据偏编码对所述短期点击数据进行更新，得到偏置短期点击数据；
步骤506，采用多头自注意力机制对偏置短期点击数据进行池化，并将池化后的结果输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。
具体的，对于步骤502和步骤504，利用序列的顺序关系，自我注意机制将位置编码应用于输入的嵌入。此外，还需要捕获存在于不同表示子空间中的会话的顺序关系和偏差。因此，在位置编码的基础上提出了偏编码BE∈RK×T×dmodel，其中BE中的每个元素定义如下：
其中
是会话的偏差向量，k是会话的索引，
是会话中位置的偏差向量，t是会话中数据的索引，
是偏差向量行为嵌入中单元位置的，而c是数据嵌入中单元的索引。添加偏差编码后，用户的行为sessionQ将更新如下：
Q＝Q+BE
对于步骤506，多头自我注意机制可以捕获不同表示子空间中的关系。从计算的角度来看，令Qk＝[Qk1；...；Qkh；...；QkH]其中，Qkh∈RT×dh是Qk的h个头，H是头数，而dh＝1/hdmodel。headh的输出计算如下：
其中WQ，WK，WV线性矩阵。将不同头的向量连接起来，然后馈入前馈网络:
其中FFN(·)是前馈网络，wo是线性矩阵。依次进行残余连接和层归一化。用户的第k个会话的兴趣Ik计算如下：
其中Avg(·)是平均池。权重在不同会话的自我注意机制中共享的。
另外，用户的会话兴趣与上下文之间具有顺序关系。对动态变化进行建模可以丰富会话兴趣的表示。双向长短时记忆网络Bi-LSTM可以有效的捕获顺序关系，并且应用于它对会话兴趣的交互进行建模。LSTM存储单元的实现方式如下：
it＝σ(WxiIt+Whiht-1+Wcict-1+bi)
ft＝σ(WxfIt+Whfht-1+Wcfct-1+bf)
ct＝ftct-1+ittanh(WxcIt+Whcht-1+bc)
ot＝σ(WxoIt+Whoht-1+Wcoct+bo)
ht＝ot tanh(ct)
其中σ(·)是逻辑函数，it，ft，ot分别为输入门、忘记门、输出门。权矩阵的形状用下标指示。双向表示存在前向和后向RNN，并且隐藏状态H的计算如下：
其中
是前向LSTM的隐藏状态，而
是后向LSTM的隐藏状态。
然后通过激活层，可以由双向长短时记忆网络输出短期交互特征。
在其中一个实施例中，得到融合特征的步骤包括：采用串联和平滑方式，将长期交互特征和短期交互特征进行融合，得到融合特征。
具体的，全连接神经网络模型可以如下：
其中，其中D是训练数据集，x表示为[XU，XI，S]是网络的输入，y∈{0,1}表示用户是否单击了项目，p(·)是表示预测的网络的最终输出用户单击该项目的可能性。
应该理解的是，虽然图1、2、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、2、5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种基于卷积注意力网络深度会话序列的点击率预测***，包括：数据获取模块602、长期特征提取模块604、短期特征提取模块606、特征融合模块608和点击预测模块610，其中：
数据获取模块602，用于获取用户历史行为产生的点击数据；
长期特征提取模块604，用于将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
短期特征提取模块606，用于根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
特征融合模块608，用于将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
点击预测模块610，用于将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
在其中一个实施例中，数据获取模块602还用于获取用户会话产生的稀疏数据；对所述稀疏数据向量化，得到低维密度矢量的点击数据。
在其中一个实施例中，数据获取模块602还用于通过自注意力池化层对所述点击数据进行处理如下：
其中，αi表示自注意力系数，
表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；
对所述自注意力系数进行归一化为：
其中，α′i表示归一化结果，x′i∈Xj表示所述点击数据中的会话子数据；
根据所述归一化结果对所述点击数据进行池化，得到自注意力点击数据。
在其中一个实施例中，长期特征提取模块604还用于根据自注意力点击数据之间的外积，构建二维交互特征；根据由所述点击数据中所有所述二维交互特征，构建三维张量；将所述三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。
在其中一个实施例中，短期特征提取模块606还用于根据时间信息，将所述点击数据转化为会话序列；根据预先设置的时间间隔，将所述会话序列转化为短期点击数据。
在其中一个实施例中，短期特征提取模块606还用于根据所述会话序列中点击数据的位置信息，设置偏编码；根据所述偏编码对所述短期点击数据进行更新，得到偏置短期点击数据；采用多头自注意力机制对所述偏置短期点击数据进行池化，并将池化后的结果输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。
在其中一个实施例中，特征融合模块608还用于采用串联和平滑方式，将所述长期交互特征和所述短期交互特征进行融合，得到融合特征。
关于基于卷积注意力网络深度会话序列的点击率预测***的具体限定可以参见上文中对于基于卷积注意力网络深度会话序列的点击率预测方法的限定，在此不再赘述。上述基于卷积注意力网络深度会话序列的点击率预测***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入***。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于卷积注意力网络深度会话序列的点击率预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入***可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于卷积注意力网络深度会话序列的点击率预测方法，其特征在于，所述方法包括：
获取用户历史行为产生的点击数据；
将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
2.根据权利要求1所述的方法，其特征在于，所述获取用户历史行为产生的点击数据，包括：
获取用户会话产生的稀疏数据；
对所述稀疏数据向量化，得到低维密度矢量的点击数据。
3.根据权利要求2所述的方法，其特征在于，在将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征之前，所述方法还包括：
通过自注意力池化层对所述点击数据进行处理如下：
其中，αi表示自注意力系数，
表示自注意力的得分向量，Wj和bj分别表示权重矩阵和偏置；
对所述自注意力系数进行归一化为：
其中，α′i表示归一化结果，x′i∈Xj表示所述点击数据中的会话子数据；
根据所述归一化结果对所述点击数据进行池化，得到自注意力点击数据。
4.根据权利要求3所述的方法，其特征在于，将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征，包括：
根据自注意力点击数据之间的外积，构建二维交互特征；
根据由所述点击数据中所有所述二维交互特征，构建三维张量；
将所述三维张量输入预先训练的卷积神经网络，提取得到用户的长期交互特征。
5.根据权利要求1所述的方法，其特征在于，根据所述点击数据的时间信息，将所述点击数据转化为会话序列，包括：
根据时间信息，将所述点击数据转化为会话序列；
根据预先设置的时间间隔，将所述会话序列转化为短期点击数据。
6.根据权利要求5所述的方法，其特征在于，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征，包括：
根据所述会话序列中点击数据的位置信息，设置偏编码；
根据所述偏编码对所述短期点击数据进行更新，得到偏置短期点击数据；
采用多头自注意力机制对所述偏置短期点击数据进行池化，并将池化后的结果输入预先训练的双向长短时记忆网络，提取用户的短期交互特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，将所述长期交互特征和所述短期交互特征进行融合，得到融合特征，包括：
采用串联和平滑方式，将所述长期交互特征和所述短期交互特征进行融合，得到融合特征。
8.一种基于卷积注意力网络深度会话序列的点击率预测***，其特征在于，所述***包括：
数据获取模块，用于获取历史行为产生的点击数据；
长期特征提取模块，用于将所述点击数据输入预先训练的卷积神经网络，提取用户的长期交互特征；
短期特征提取模块，用于根据所述点击数据的时间信息，将所述点击数据转化为会话序列，将所述会话序列输入预先训练的双向长短时记忆网络，提取用户的短期交互特征；
特征融合模块，用于将所述长期交互特征和所述短期交互特征进行融合，得到融合特征；
点击预测模块，用于将所述融合特征输入预先训练的全连接神经网络模型，得到用户当前的兴趣类型，根据所述兴趣类型进行点击率预测。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010950087.4A CN112084450A (zh) | 2020-09-09 | 2020-09-09 | 基于卷积注意力网络深度会话序列的点击率预测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010950087.4A CN112084450A (zh) | 2020-09-09 | 2020-09-09 | 基于卷积注意力网络深度会话序列的点击率预测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112084450A true CN112084450A (zh) | 2020-12-15 |
Family
ID=73737433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010950087.4A Pending CN112084450A (zh) | 2020-09-09 | 2020-09-09 | 基于卷积注意力网络深度会话序列的点击率预测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084450A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559877A (zh) * | 2020-12-24 | 2021-03-26 | 齐鲁工业大学 | 基于跨平台异构数据及行为上下文的ctr预估方法及*** |
| CN112733030A (zh) * | 2021-01-13 | 2021-04-30 | 重庆邮电大学 | 一种用户兴趣偏好捕获方法 |
| CN113362598A (zh) * | 2021-06-04 | 2021-09-07 | 重庆高速公路路网管理有限公司 | 一种高速公路服务区车流量预测方法 |
| CN113535800A (zh) * | 2021-06-03 | 2021-10-22 | 同盾科技有限公司 | 信贷场景下的特征表示方法、电子设备和存储介质 |
| CN113688327A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 融合神经图协同滤波网络的数据预测方法、装置及设备 |
| CN114493058A (zh) * | 2022-04-18 | 2022-05-13 | 杭州远传新业科技有限公司 | 多通道信息特征融合的学业预警方法、***、装置和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960759A (zh) * | 2019-03-22 | 2019-07-02 | 中山大学 | 基于深度神经网络的推荐***点击率预测方法 |
| US20190294879A1 (en) * | 2018-03-20 | 2019-09-26 | Ambatana Holdings B.V. | Clickless identification and online posting |
| CN111369278A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于用户长短时期兴趣建模的点击率预测方法 |
-
2020
- 2020-09-09 CN CN202010950087.4A patent/CN112084450A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294879A1 (en) * | 2018-03-20 | 2019-09-26 | Ambatana Holdings B.V. | Clickless identification and online posting |
| CN109960759A (zh) * | 2019-03-22 | 2019-07-02 | 中山大学 | 基于深度神经网络的推荐***点击率预测方法 |
| CN111369278A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于用户长短时期兴趣建模的点击率预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 唐子惠: "医学人工智能导论", 上海科学技术出版社, pages: 368 - 377 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559877A (zh) * | 2020-12-24 | 2021-03-26 | 齐鲁工业大学 | 基于跨平台异构数据及行为上下文的ctr预估方法及*** |
| CN112733030A (zh) * | 2021-01-13 | 2021-04-30 | 重庆邮电大学 | 一种用户兴趣偏好捕获方法 |
| CN113535800A (zh) * | 2021-06-03 | 2021-10-22 | 同盾科技有限公司 | 信贷场景下的特征表示方法、电子设备和存储介质 |
| CN113362598A (zh) * | 2021-06-04 | 2021-09-07 | 重庆高速公路路网管理有限公司 | 一种高速公路服务区车流量预测方法 |
| CN113688327A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 融合神经图协同滤波网络的数据预测方法、装置及设备 |
| CN114493058A (zh) * | 2022-04-18 | 2022-05-13 | 杭州远传新业科技有限公司 | 多通道信息特征融合的学业预警方法、***、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112084450A (zh) | 基于卷积注意力网络深度会话序列的点击率预测方法及*** | |
| Wu et al. | Session-based recommendation with graph neural networks | |
| Tanjim et al. | Attentive sequential models of latent intent for next item recommendation | |
| CN111815415B (zh) | 一种商品推荐方法、***及设备 | |
| US20230088171A1 (en) | Method and apparatus for training search recommendation model, and method and apparatus for sorting search results | |
| US20200134300A1 (en) | Predictive analysis of target behaviors utilizing rnn-based user embeddings | |
| CN112598462A (zh) | 基于协同过滤和深度学习的个性化推荐方法及*** | |
| CN112800342B (zh) | 基于异质信息的推荐方法、***、计算机设备和存储介质 | |
| CN114372573B (zh) | 用户画像信息识别方法、装置、计算机设备和存储介质 | |
| CN112085565A (zh) | 基于深度学习的信息推荐方法、装置、设备及存储介质 | |
| CN112395979A (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN112418292A (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| Zhou et al. | Consistency and diversity induced human motion segmentation | |
| Bao et al. | Multisource heterogeneous user-generated contents-driven interactive estimation of distribution algorithms for personalized search | |
| WO2022063076A1 (zh) | 对抗样本的识别方法及装置 | |
| CN111291563A (zh) | 词向量对齐方法和词向量对齐模型训练方法 | |
| Shi et al. | Deep time-stream framework for click-through rate prediction by tracking interest evolution | |
| CN113705698A (zh) | 基于点击行为预测的信息推送方法及装置 | |
| Niu et al. | Deep recommendation model combining long-and short-term interest preferences | |
| CN112288483A (zh) | 用于训练模型的方法和装置、用于生成信息的方法和装置 | |
| Gao et al. | Deep multiview adaptive clustering with semantic invariance | |
| CN110866637A (zh) | 评分预测方法、装置、计算机设备和存储介质 | |
| Alabdulrahman et al. | Active learning and deep learning for the cold-start problem in recommendation system: A comparative study | |
| CN112559905B (zh) | 一种基于双模式注意力机制和社交相似度的会话推荐方法 | |
| CN110837596B (zh) | 一种智能推荐方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201215 |
|
| RJ01 | Rejection of invention patent application after publication |