CN114519600A - 一种融合相邻节点方差的图神经网络ctr预估算法 - Google Patents

一种融合相邻节点方差的图神经网络ctr预估算法 Download PDF

Info

Publication number
CN114519600A
CN114519600A CN202111658407.XA CN202111658407A CN114519600A CN 114519600 A CN114519600 A CN 114519600A CN 202111658407 A CN202111658407 A CN 202111658407A CN 114519600 A CN114519600 A CN 114519600A
Authority
CN
China
Prior art keywords
user
article
node
representation
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111658407.XA
Other languages
English (en)
Inventor
周文彬
陈心童
傅剑文
韩弘炀
章建森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Electronic Commerce Co Ltd
Original Assignee
Tianyi Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Electronic Commerce Co Ltd filed Critical Tianyi Electronic Commerce Co Ltd
Priority to CN202111658407.XA priority Critical patent/CN114519600A/zh
Publication of CN114519600A publication Critical patent/CN114519600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种融合相邻节点方差的图神经网络CTR预估算法，包括以下步骤：(1)采集用户与物品的点击交互行为，以及点击发生时间、物品展示形式等上下文信息；(2)生成用户‑物品交互拓扑图，以用户、物品作为节点，用户对物品的点击作为边，其他信息作为节点的特征，生成交互拓扑图G＝(V,E)；(3)训练图神经网络模型；(4)对于候选的用户‑物品对，使用上述模型进行前向传播，得到用户是否点击物品的预测值。本发明可以在建模时将邻居节点的差异性纳入考虑，获得更好的用户与物品表征，进而改善推荐***的性能，提高点击率预测的准确性。

Description

一种融合相邻节点方差的图神经网络CTR预估算法
技术领域
本发明涉及的是图神经网络，互联网推荐***领域，具体涉及一种融合相邻节点方差的图神经网络CTR预估算法。
背景技术
互联网推荐***在电商、广告、视频等领域有着广泛的应用，通过用户特征、物品特征、用户与物品两者之间的交互，推荐***可以判断用户对物品的喜好程度，从而将最合适的物品推荐给用户，提高物品点击率与用户满意度。
近年来，基于图神经网络的推荐***迅速发展。相比于传统的深度学***均等，这些方法都默认忽略了一个图结构数据特有的问题，即不考虑多个邻居之间差异的大小隐含的信息。本专利针对这一问题，提出一种融合相邻节点方差的图神经网络，进行用户-物品点击率预测。
在图结构数据中会出现这样一种情况：两个节点具有相似的特征，这两个节点的邻居的均值也相似，但是他们邻居节点的差异可能不同。例如，两个商家的顾客的注册时长均值差不多，但其中一个商家的顾客的注册时长差异很小，那此商家有可能存在虚假交易套利的情况。常规的图神经网络聚合方法只考虑邻居节点的特征本身，而未考虑到邻居节点之间的差异性也是中心节点的一种特征，忽视了这种在传统结构化数据及图片数据中都不存在的问题。
综上所述，本发明设计了一种融合相邻节点方差的图神经网络CTR预估算法。
发明内容
针对现有技术上存在的不足，本发明目的是在于提供一种融合相邻节点方差的图神经网络CTR预估算法，可以在建模时将邻居节点的差异性纳入考虑，获得更好的用户与物品表征，进而改善推荐***的性能，提高点击率预测的准确性。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种融合相邻节点方差的图神经网络CTR预估算法，包括以下步骤：
(1)采集用户与物品的点击交互行为，以及点击发生时间、物品展示形式等上下文信息；
(2)生成用户-物品交互拓扑图，以用户、物品作为节点，用户对物品的点击作为边，其他信息作为节点的特征，生成交互拓扑图G＝(V,E)；
(3)训练图神经网络模型；
(a)建立一个L层的图神经网络，在每层中使用邻居节点表征的均值与方差拼接成聚合信息，用于更新中心节点的表征；
(b)经过L层图神经网络获得用户与物品的表征后，把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本，把用户表征与物品表征的内积经过logistic函数的值作为用户-物品是否有连接的预测值，输入损失函数进行模型训练；
(4)对于候选的用户-物品对，使用上述模型进行前向传播，得到用户是否点击物品的预测值。
所述的步骤(3)利用python处理用户-物品交互拓扑图，进行图神经网络训练，具体包括：
(a)图神经网络由L层特征变换组成，第t层的计算方法为：记
Figure BDA0003446344190000021
为节点v在t-1层的表征，
Figure BDA0003446344190000022
为节点v的所有邻居节点在t-1层的表征。
(b)计算节点v的邻居的方差信息，在每个表征维度计算节点v的邻居表征的方差，如果节点v只有一个邻居，则邻居的方差信息规定为0向量。数学表示为：
Figure BDA0003446344190000023
其中
Figure BDA0003446344190000024
表示
Figure BDA0003446344190000025
的第i个分量。
(c)计算节点v的邻居的聚合信息，将节点v的邻居的表征均值(计算方法与方差信息相同)与表征方差拼接到一起形成聚合信息向量。数学表示为：
Figure BDA0003446344190000031
(d)将节点v邻居的聚合信息向量与节点v的表征一起输入全连接层进行变换，然后经过sigmoid激活函数激活，得到节点v在这一层的新表征。数学表示为：
Figure BDA0003446344190000032
(e)重复a)-d)步骤L层以后获得拓扑图中每个节点的表征。把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本，把用户表征与物品表征的内积经过logistic函数的值作为用户-物品是否有连接的预测值，数学表示为：
Figure BDA0003446344190000033
将其输入损失函数中，优化损失函数进行模型训练，保存训练好的模型参数。
本发明具有以下有益效果：
相比与传统结构化数据与图片数据，图结构数据有一个这两者都不具备的特点，即邻居节点的差异性也是中心节点的一种特征。传统的图神经网络忽略了这一点，因为无论是平均池化、最大值池化还是注意力机制，都无法提取所有邻居的整体统计信息，导致对信息的利用不充分。
本发明首次认识到该问题，并创新性地提出新的邻居信息聚合方法，将邻居节点的差异性纳入算法的处理范围，可以更充分地提取用户-物品交互图的信息，让用户表征、物品表征蕴含更准确丰富的信息，提升点击率预测的准确性。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明的整体流程图；
图2为本发明的交互拓扑图(浅色为用户节点，深色为物品节点)；
图3为本发明的图神经网络示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参照图1-3，本具体实施方式采用以下技术方案：一种融合相邻节点方差的图神经网络CTR预估算法，包括以下步骤：
1.基于业务***日志，提取用户与物品的点击交互行为，并采集点击时的上下文信息，例如点击发生时间、物品展示形式等等。
2.将采集的信息导入图数据库，生成用户-物品交互拓扑图：以用户、物品作为节点，用户对物品的点击作为边，其他信息作为节点的特征，生成交互拓扑图G＝(V,E),其中V表示用户节点与物品节点，E表示边，如图2所示。
3.利用python处理用户-物品交互拓扑图，进行图神经网络训练，如图3所示。
a)图神经网络由L层特征变换组成，第t层的计算方法为：记
Figure BDA0003446344190000041
为节点v在t-1层的表征，
Figure BDA0003446344190000042
为节点v的所有邻居节点在t-1层的表征。
b)计算节点v的邻居的方差信息，在每个表征维度计算节点v的邻居表征的方差，如果节点v只有一个邻居，则邻居的方差信息规定为0向量。数学表示为：
Figure BDA0003446344190000043
其中
Figure BDA0003446344190000044
表示
Figure BDA0003446344190000045
的第i个分量。
c)计算节点v的邻居的聚合信息，将节点v的邻居的表征均值(计算方法与方差信息相同)与表征方差拼接到一起形成聚合信息向量。数学表示为：
Figure BDA0003446344190000046
d)将节点v邻居的聚合信息向量与节点v的表征一起输入全连接层进行变换，然后经过sigmoid激活函数激活，得到节点v在这一层的新表征。数学表示为：
Figure BDA0003446344190000051
e)重复a)-d)步骤L层以后获得拓扑图中每个节点的表征。把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本，把用户表征与物品表征的内积经过logistic函数的值作为用户-物品是否有连接的预测值，数学表示为：
Figure BDA0003446344190000052
将其输入损失函数中，优化损失函数进行模型训练，保存训练好的模型参数。
4.模型服务。对于候选的用户-物品对，使用上述模型进行前向传播，得到用户是否点击物品的预测值，即CTR预测值。
实施例1：一种融合相邻节点方差的图神经网络CTR预估算法，包括以下步骤：
1、基于业务***日志，提取用户与物品的点击交互行为，并采集点击时的上下文信息，例如点击发生时间、物品展示形式等等。
a)根据实际场景需要，业务***日志中记录的点击交互行为包括但不限于用户点击进入商品页面、浏览商品广告一定时长等。
b)采集上下文信息，例如用户的年龄、性别、注册时长等，商品的分类、价格、广告文本、页面色调等。
c)对于采集到的类别型数据，可以通过OneHot编码或Embedding转化为数值型数据；对于采集到的文本型数据，可以通过Word2Vec转化为数值型数据；将得到的数值型数据拼接到一起作为用户与商品的初始特征向量。
2、将采集的信息导入图数据库，生成用户-物品交互拓扑图：以用户、物品作为节点，用户对物品的点击作为边，其他信息作为节点的特征，生成交互拓扑图G＝(V,E),其中V表示用户节点与物品节点，E表示边，如图2所示。
3、利用python处理用户-物品交互拓扑图，进行图神经网络训练，如图3所示。
d)先通过MLP(多层感知机)对用户与商品特征进行预处理，使其特征维数相同，可为64维或128维。
e)图神经网络模块一般由2到3层特征变换组成，第t层的计算方法为：记
Figure BDA0003446344190000061
为节点v在t-1层的表征，
Figure BDA0003446344190000062
为节点v的所有邻居节点在t-1层的表征。
f)计算节点v的邻居的方差信息，在每个表征维度计算节点v的邻居表征的方差，如果节点v只有一个邻居，则邻居的方差信息规定为0向量。数学表示为：
Figure BDA0003446344190000063
其中
Figure BDA0003446344190000064
表示
Figure BDA0003446344190000065
的第i个分量。
g)计算节点v的邻居的聚合信息，将节点v的邻居的表征均值(计算方法与方差信息相同)与表征方差拼接到一起形成聚合信息向量。数学表示为：
Figure BDA0003446344190000066
h)将节点v邻居的聚合信息向量与节点v的表征一起输入全连接层进行变换，然后经过sigmoid激活函数激活，得到节点v在这一层的新表征。数学表示为：
Figure BDA0003446344190000067
i)重复b)-e)步骤2到3层以后获得拓扑图中每个节点的表征。把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本。由于用户点击物品的概率远小于不点击的概率，负样本的数量将远大于正样本，通过下采样，只选取一部分的负样本(例如总数不多于正样本的20倍)与正样本一起进行下一步计算。
j)把正负样本对的用户表征与物品表征进行内积计算，再输入logistic函数，其输出作为用户-物品是否有连接的预测值，数学表示为：
Figure BDA0003446344190000071
将其输入损失函数中，使用梯度下降优化损失函数进行模型参数的训练，保存训练好的模型。损失函数一般选为交叉熵损失函数，数学表示为：
Figure BDA0003446344190000072
4、模型服务。对于需要预测的用户-物品对，使用模型训练时相同的信息转换方法得到初始特征向量，并将用户-物品对加入训练时所使用的交互拓扑图中，使用训练好的模型进行前向传播，得到用户是否点击物品的预测值，即CTR预测值。一个用户也可对应多个候选物品，分别预测其点击率，将点击率top10的物品返回给用户。
本实施例邻居节点特征的方差信息纳入算法中，更充分地提取用户-物品交互拓扑图中的信息，有效提高CTR预估的准确性。本实施例提出了一种新的邻居节点信息的聚合方法，可让用户、物品节点的表征学到邻居的方差信息，从而更充分地表示中心节点的特征，并提高算法的预测性能。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种融合相邻节点方差的图神经网络CTR预估算法，其特征在于，包括以下步骤：
(1)采集用户与物品的点击交互行为，以及点击发生时间、物品展示形式等上下文信息；
(2)生成用户-物品交互拓扑图，以用户、物品作为节点，用户对物品的点击作为边，其他信息作为节点的特征，生成交互拓扑图G＝(V,E)；
(3)训练图神经网络模型；
(a)建立一个L层的图神经网络，在每层中使用邻居节点表征的均值与方差拼接成聚合信息，用于更新中心节点的表征；
(b)经过L层图神经网络获得用户与物品的表征后，把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本，把用户表征与物品表征的内积经过logistic函数的值作为用户-物品是否有连接的预测值，输入损失函数进行模型训练；
(4)对于候选的用户-物品对，使用上述模型进行前向传播，得到用户是否点击物品的预测值。
2.根据权利要求1所述的一种融合相邻节点方差的图神经网络CTR预估算法，其特征在于，所述的步骤(3)利用python处理用户-物品交互拓扑图，进行图神经网络训练，具体包括：
(a)图神经网络由L层特征变换组成，第t层的计算方法为：记
Figure FDA0003446344180000011
为节点v在t-1层的表征，
Figure FDA0003446344180000012
为节点v的所有邻居节点在t-1层的表征；
(b)计算节点v的邻居的方差信息，在每个表征维度计算节点v的邻居表征的方差，如果节点v只有一个邻居，则邻居的方差信息规定为0向量；数学表示为：
Figure FDA0003446344180000013
其中
Figure FDA0003446344180000014
表示
Figure FDA0003446344180000015
的第i个分量；
(c)计算节点v的邻居的聚合信息，将节点v的邻居的表征均值与表征方差拼接到一起形成聚合信息向量；数学表示为：
Figure FDA0003446344180000021
(d)将节点v邻居的聚合信息向量与节点v的表征一起输入全连接层进行变换，然后经过sigmoid激活函数激活，得到节点v在这一层的新表征；数学表示为：
Figure FDA0003446344180000022
(e)重复a)-d)步骤L层以后获得拓扑图中每个节点的表征；把有连接的用户-物品对记为正样本，没有连接的用户-物品对记为负样本，把用户表征与物品表征的内积经过logistic函数的值作为用户-物品是否有连接的预测值，数学表示为：
Figure FDA0003446344180000023
将其输入损失函数中，优化损失函数进行模型训练，保存训练好的模型参数。
CN202111658407.XA 2021-12-30 2021-12-30 一种融合相邻节点方差的图神经网络ctr预估算法 Pending CN114519600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111658407.XA CN114519600A (zh) 2021-12-30 2021-12-30 一种融合相邻节点方差的图神经网络ctr预估算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111658407.XA CN114519600A (zh) 2021-12-30 2021-12-30 一种融合相邻节点方差的图神经网络ctr预估算法

Publications (1)

Publication Number Publication Date
CN114519600A true CN114519600A (zh) 2022-05-20

Family

ID=81597407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111658407.XA Pending CN114519600A (zh) 2021-12-30 2021-12-30 一种融合相邻节点方差的图神经网络ctr预估算法

Country Status (1)

Country Link
CN (1) CN114519600A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817751A (zh) * 2022-06-24 2022-07-29 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817751A (zh) * 2022-06-24 2022-07-29 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
US11995702B2 (en) Item recommendations using convolutions on weighted graphs
Pan et al. Study on convolutional neural network and its application in data mining and sales forecasting for E-commerce
CN112364976B (zh) 基于会话推荐***的用户偏好预测方法
CN108763362B (zh) 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法
CN111080400B (zh) 一种基于门控图卷积网络的商品推荐方法及***、存储介质
CN115082147B (zh) 一种基于超图神经网络的序列推荐方法及装置
CN111932336A (zh) 一种基于长短期兴趣偏好的商品列表推荐方法
CN110796313B (zh) 一种基于带权图卷积和项目吸引力模型的会话推荐方法
CN112950324B (zh) 一种知识图谱辅助的成对排序个性化电商推荐方法及***
EP4242955A1 (en) User profile-based object recommendation method and device
CN113379494B (zh) 基于异质社交关系的商品推荐方法、装置和电子设备
CN114036406A (zh) 一种基于图对比学习和社交网络增强的推荐方法及***
CN113763095B (zh) 信息推荐方法、装置和模型训练方法、装置
CN116468460B (zh) 基于人工智能的消费金融客户画像识别***及其方法
CN113610610B (zh) 基于图神经网络和评论相似度的会话推荐方法和***
CN115238191A (zh) 对象推荐方法以及装置
CN113641811B (zh) 促进购买行为的会话推荐方法、***、设备及存储介质
CN114519600A (zh) 一种融合相邻节点方差的图神经网络ctr预估算法
CN116204723A (zh) 一种基于动态超图表示学习的社交推荐方法
CN114842247B (zh) 基于特征累加的图卷积网络半监督节点分类方法
CN115222203A (zh) 风险识别方法以及装置
CN115564532A (zh) 序列推荐模型的训练方法及装置
CN115618079A (zh) 会话推荐方法、装置、电子设备及存储介质
CN115599990A (zh) 一种知识感知结合深度强化学习的跨域推荐方法及***
CN112307343B (zh) 基于双层迭代补偿和全貌表示的跨电商书城用户对齐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication