CN114065048A - 基于多异构图图神经网络的物品推荐方法 - Google Patents
基于多异构图图神经网络的物品推荐方法 Download PDFInfo
- Publication number
- CN114065048A CN114065048A CN202111413243.4A CN202111413243A CN114065048A CN 114065048 A CN114065048 A CN 114065048A CN 202111413243 A CN202111413243 A CN 202111413243A CN 114065048 A CN114065048 A CN 114065048A
- Authority
- CN
- China
- Prior art keywords
- user
- article
- vector
- gcn
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 164
- 230000003993 interaction Effects 0.000 claims abstract description 86
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000002452 interceptive effect Effects 0.000 claims description 20
- 239000000126 substance Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于多异构图图神经网络的物品推荐方法,实现步骤为:获取用户信息、物品信息以及用户‑物品交互信息;构建属性异构图;构建用户‑物品交互异构图;构建全相邻异构图;构建基于多异构图图神经网络的物品推荐模型;对基于多异构图图神经网络的物品推荐模型进行迭代训练;获取向用户推荐的物品。本发明首先通过在多个异构图上构造一个属性辅助层、一个全相邻辅助层和多个图卷积神经网络层以更高效地获得用户嵌入向量和物品嵌入向量,从而更好地挖掘信息;其次通过保留部分层的节点自连接,充分利用了有限的数据,有效提高了物品推荐的准确性。
Description
技术领域
本发明属于数据挖掘信息推荐技术领域,涉及一种物品推荐方法,具体涉及一种基于多异构图图神经网络的物品推荐方法,可应用于短视频推荐、商品推荐等技术领域。
背景技术
随着基于互联网技术的电子商务、社交媒体平台的快速发展,推荐***已经成为很多企业提升盈利能力的不可或缺的工具。如何从海量的信息中挖掘用户最可能感兴趣的内容,提升物品推荐的准确性成为物品推荐的核心问题。尽管该问题已经存在很多得到广泛应用的解决方法,但这些方法在很大程度上仍依赖于用户-物品交互信息来进行推荐,然而用户-物品交互信息通常是稀疏的(即只有少量用户和物品间存在交互行为),因此如何充分挖掘稀疏的用户-物品交互信息,并利用其它的用户属性信息、物品属性信息等信息辅助推荐是提升物品推荐准确性的关键所在。由于推荐***中的用户-物品交互信息等许多形式的信息都可以被准确方便地用图的形式进行表示,与图神经网络的特点相契合,因此利用图神经网络进行物品推荐成为了推荐领域一个热门的方向。
Koren等人在其发表的论文"Matrix factorization techniques forrecommender systems"(Computer,2009,pp.30-37)中提出了一种基于矩阵分解的物品推荐方法MF,该方法是目前应用最广泛的物品推荐方法,该方法首先利用用户-物品交互信息构建用户-物品交互矩阵,然后通过矩阵分解得到用户嵌入向量和物品嵌入向量,从而利用用户嵌入向量和物品嵌入向量的内积进行用户-物品交互概率预测,并最终根据预测结果向用户推荐一组交互概率最高的物品。但是由于该方法仅仅隐式地利用交互信息,获取的用户嵌入向量和物品嵌入向量依然有很大的局限性,得到物品推荐的结果往往并不理想。
近几年,由于图神经网络可以通过构造图,利用图结构信息从而显式地使用交互信息,因而被越来越多地应用到推荐领域。He等人在其发表的论文"Lightgcn:Simplifyingand powering graph convolution network for recommendation"(Proceedings of the42nd international ACM SIGIR conference on Research and development inInformation Retrieval.2019)中,提出了一种简化和增强图卷积网络的物品推荐方法LightGCN。相比起MF,LightGCN可以对用户-物品交互异构图中的用户、物品节点进行学习,由于包含了图的结构信息及邻居节点的局部相似性信息,最终可以获得更好的用户嵌入向量和物品嵌入向量,得到更准确的物品推荐结果。具体来说,LightGCN首先通过在用户-物品交互异构图上进行多次图卷积操作,不断聚合邻域节点信息来更新用户嵌入向量和物品嵌入向量,然后分别组合所有层学到的用户嵌入向量和物品嵌入向量作为最终的用户嵌入向量和物品嵌入向量,从而进行用户-物品交互概率预测,并最终根据预测结果为用户生成一组交互概率最高的物品。尽管已经获得巨大的成功,但由于仅仅使用稀疏的用户-物品交互信息,忽视用户、物品属性信息以及用户-用户、物品-物品间可能的关系,LightGCN对信息的利用仍不充分,从而导致物品推荐的准确性受到限制。除此之外,LightGCN在更新中心节点时,仅仅使用邻居的聚合作为新的中心节点,完全丢弃了用户或物品节点自身携带的信息(即放弃了节点自连接),通过使用将各图神经网络层的嵌入向量加权组合(即层组合)来获得等效于节点自连接的效果。但是由于用户-物品交互图进行多次图卷积操作后,节点自身包含了很多之前聚合的信息,实际上已经不局限于节点自身的原始信息,完全放弃节点自连接而改为使用层组合操作并不一定在所有情况下都能获得更好的效果,反而可能会降低物品推荐的准确性。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于多异构图图神经网络的物品推荐方法,用于解决现有技术存在的信息利用不充分导致的物品推荐准确性较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取用户信息、物品信息以及用户-物品交互信息:
从真实数据集中提取M个用户u={u1,...,um,...,uM}的属性信息SU={U1,...,Um,...,UM}、N个物品i={i1,...,in,...,iN}的属性信息SI={I1,...,In,...,IN},以及M个用户与N个物品的D条用户-物品交互信息L={L1,...,Ld,...,LD},每个用户um与N个物品或其中的部分物品存在交互关系,其中,M≥500,N≥500,um表示第m个用户,Um表示um的包含K1个属性特征的属性信息,K1≥0,in表示第n个物品,In表示in的包含K2个属性特征的属性信息,K2≥0,D<<M×N,Ld表示第d条用户-物品交互信息;
(2)构建属性异构图:
(2a)对每个用户um的属性信息Um、每个物品in的属性信息In分别进行one-hot编码,得到Um的one-hot编码向量和In的one-hot编码向量并为增加M-K1个零元素,同时为增加N-K2个零元素,实现对和的扩展后,得到扩展后的维度为M的one-hot编码向量和的扩展后的维度为N的one-hot编码向量并将M个用户u扩展后的one-hot编码向量作为u的新的属性信息,将N个物品i扩展后的one-hot编码向量作为i的新的属性信息;
(2b)构建以M个用户u={u1,...,um,...,uM}及其新的属性信息N个物品i={i1,...,in,...,iN}及其新的属性信息为节点,以用户u的新的属性信息与物品i的新的属性信息的并集中的每个属性信息为边且形式为矩阵的属性异构图G1,其中,表示大小为M×M的,由新的用户属性数据构建的用户属性特征矩阵,表示大小为N×N的,由新的物品属性数据构建的物品属性特征矩阵,表示实数域;
(3)构建用户-物品交互异构图:
构建以M个用户u={u1,...,um,...,uM}与N个物品i={i1,...,in,...,iN}分别为节点,以D条用户-物品交互信息L={L1,...,Ld,...,LD}为边且形式为矩阵的用户-物品交互异构图G2,其中,表示大小为M×N的、第m个用户um与第n个物品in存在交互时阵元Rm,n=1,不存在交互时阵元Rm,n=0的用户-物品交互信息矩阵,[·]T表示转置操作;
(4)构建全相邻异构图:
构建以M个用户u={u1,...,um,...,uM}和N个物品i={i1,...,in,...,iN}为节点,以每两个用户的连线以及每两个物品的连线为边的形式为矩阵的全相邻异构图G3,其中,1(M×M)表示大小为M×M的,所有阵元均为1的用户-用户全相邻矩阵,1(N×N)表示大小为N×N的,所有阵元均为1的物品-物品全相邻矩阵;
(5)构建基于多异构图图神经网络的物品推荐模型H:
构建包含顺次连接的属性辅助层GCNA1、图卷积神经网络GCN、全相邻辅助层GCNA2和预测层的物品推荐模型H,图卷积神经网络GCN包含顺次连接的K个图卷积层GCN1,...,GCNk,...,GCNK,且属性辅助层GCNA1和每个图卷积层GCNk与预测层相连接,其中,K≥2,GCNk表示第k个图卷积层;
(6)对基于多异构图图神经网络的物品推荐模型进行迭代训练:
其中,表示在属性异构图G1中用户um拥有的所有用户属性的集合,表示在属性异构图G1中拥有用户属性的所有用户的集合,表示在属性异构图G1中物品in拥有的所有物品属性的集合,表示在属性异构图G1中拥有物品属性的所有物品的集合;
(6b2)图卷积神经网络GCN的前K-1个图卷积层GCN1,...,GCNk,...,GCNK-1对用户-物品交互异构图G2,以及第t次迭代中的用户嵌入向量和物品嵌入向量进行不包含节点自连接的图卷积操作,得到用户嵌入向量和物品嵌入向量最后一个图卷积层GCNK对用户-物品交互异构图G2,以及第t次迭代中的用户嵌入向量和物品嵌入向量进行包含节点自连接的图卷积操作,得到用户嵌入向量和物品嵌入向量其中第k个图卷积层GCNK得到的用户嵌入向量和物品嵌入向量的表达式分别为:
其中,分别表示第t次迭代中第k层图卷积神经网络层得到的用户嵌入向量和物品嵌入向量, 是在用户-物品交互异构图G2中和用户um有交互的所有物品的集合,Nin是在用户-物品交互异构图G2中和物品in有交互的所有用户的集合;
其中,代表除用户um外的任意用户,代表除物品in外的任意物品,是全相邻异构图G3中除用户um外的所有用户的集合,是全相邻异构图G3中除用户的所有用户的集合,是全相邻异构图G3中除物品in外的所有物品的集合,是全相邻异构图G3中除物品外的所有物品的集合;
(6b4)预测层对第t次迭代中的属性辅助层GCNA1输出的用户嵌入向量和物品嵌入向量每一层图卷积神经网络GCNk输出的用户嵌入向量和物品嵌入向量以及全相邻辅助层GCNA2输出的用户嵌入向量和物品嵌入向量进行层组合,得到最终用户嵌入向量和最终物品嵌入向量并通过最终嵌入向量的点积得到用户um和物品in的预测交互概率
(6c)采用贝叶斯个性化排名损失函数BPR,根据用户-物品预测交互概率计算贝叶斯计算个性化排名损失值LBPR,再采用反向传播,通过损失值LBPR计算基于多异构图图神经网络的物品推荐模型的参数梯度并使用梯度下降法,通过更新基于多异构图图神经网络的物品推荐模型H的参数Θ;
(6d)判断t≥T是否成立,若是,得到训练好的物品推荐模型H*,否则,令t=t+1,并执行步骤(6b);
(7)获取向用户推荐的物品:
选取训练好的物品推荐模型H*最终输出的M×N条预测交互概率中每个用户um与N个物品中不存在交互关系的物品的预测交互概率,并按照由大到小的顺序进行排序,然后选取前S个预测交互概率对应的物品作为向用户um推荐的物品,S≥1。
本发明与现有技术相比,具有以下优点:
第一,本发明所构建的物品推荐模型中包含有属性辅助层、图卷积神经网络、全相邻辅助层和预测层,在对该模型进行训练以及获取向用户推荐的物品的过程中,属性辅助层、图卷积神经网络和全相邻辅助层分别在属性异构图、用户-物品交互异构图和全相邻异构图上进行了图卷积操作,除考虑了用户-物品交互信息外,还考虑了用户、物品属性信息以及用户-用户、物品-物品间可能的关系,避免了现有技术中因为信息利用不充分对推荐精度的影响,有效提高了物品推荐的准确性,能够更好地预测用户对物品的偏好。
第二,本发明所构建的物品推荐模型在进行训练时,除了在预测层进行层组合操作外,还在第K个图卷积神经网络层和全相邻辅助层中的图卷积操作中保留了节点自连接操作以利用更多有意义的信息,实际上,在大多数情况下,随着模型层数的增加,除了没有语义特征的用户、物品信息以外,节点自身还包含了很多之前聚合的邻域信息,因此在除了属性辅助层和图卷积神经网络的第一层外的其他层上,保留节点自连接都能一定程度上提升物品推荐的准确性。
附图说明
图1是本发明的实现流程图。
具体实施方式:
下面结合附图和具体实施例对本发明作进一步的详细描述,应当说明的是,具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,本发明包括如下步骤:
步骤1)获取用户信息、物品信息以及用户-物品交互信息:
从真实数据集Flixster中提取M个用户u={u1,...,um,...,uM}的属性信息SU={U1,...,Um,...,UM}、N个物品i={i1,...,in,...,iN}的属性信息SI={I1,...,In,...,IN},以及M个用户与N个物品的D条用户-物品交互信息L={L1,...,Ld,...,LD},每个用户um与N个物品或其中的部分物品存在交互关系,其中,M≥500,N≥500,um表示第m个用户,Um表示um的包含K1个属性特征的属性信息,K1≥0,in表示第n个物品,In表示in的包含K2个属性特征的属性信息,K2≥0,D<<M×N,Ld表示第d条用户-物品交互信息。在不同数据集中用户的属性特征一般包括年龄、性别、籍贯、职业等;在不同数据集中物品可以是电影、音乐、商品等物品,它们的属性特征一般包括名称、类型、作者等;本实例中,通过挖掘用户对电影的交互信息和属性信息,本发明向用户推荐一组电影,其中M=3000,N=3000,D=26173,用户的属性特征个数K1=3,为年龄、性别、职业,物品的属性特征个数K2=3,为名称、类型、导演。
步骤2)构建属性异构图:
步骤2a)为了将用户、属性信息构建为图结构从而显式地使用属性信息,对每个用户um的属性信息Um、每个物品in的属性信息In分别进行one-hot编码,得到Um的one-hot编码向量和In的one-hot编码向量由于K1<<M,K2<<N,为了使用一组模型参数训练本发明中的各个层,为增加M-K1个零元素,同时为增加N-K2个零元素,实现对和的扩展后,得到扩展后的维度为M的one-hot编码向量和的扩展后的维度为N的one-hot编码向量并将M个用户u扩展后的one-hot编码向量作为u的新的属性信息,将N个物品i扩展后的one-hot编码向量作为i的新的属性信息。
步骤2b)构建以M个用户u={u1,...,um,...,uM}及其新的属性信息N个物品i={i1,...,in,...,iN}及其新的属性信息为节点,以用户u的新的属性信息与物品i的新的属性信息的并集中的每个属性信息为边且形式为矩阵的属性异构图G1,其中,表示大小为M×M的,由新的用户属性数据构建的用户属性特征矩阵,表示大小为N×N的,由新的物品属性数据构建的物品属性特征矩阵,表示实数域。
步骤3)构建用户-物品交互异构图:
构建以M个用户u={u1,...,um,...,uM}与N个物品i={i1,...,in,...,iN}分别为节点,以D条用户-物品交互信息L={L1,...,Ld,...,LD}为边且形式为矩阵的用户-物品交互异构图G2,其中,表示大小为M×N的、第m个用户um与第n个物品in存在交互时阵元Rm,n=1,不存在交互时阵元Rm,n=0的用户-物品交互信息矩阵,[·]T表示转置操作。
步骤4)构建全相邻异构图:
构建以M个用户u={u1,...,um,...,uM}和N个物品i={i1,...,in,...,iN}为节点,以每两个用户的连线以及每两个物品的连线为边的形式为矩阵的全相邻异构图G3,其中,1(M×M)表示大小为M×M的,所有阵元均为1的用户-用户全相邻矩阵,1(N×N)表示大小为N×N的,所有阵元均为1的物品-物品全相邻矩阵。
步骤5)构建基于多异构图图神经网络的物品推荐模型H:
构建包含顺次连接的属性辅助层GCNA1、图卷积神经网络GCN、全相邻辅助层GCNA2和预测层的物品推荐模型H,图卷积神经网络GCN包含顺次连接的K个图卷积层GCN1,...,GCNk,...,GCNK,且属性辅助层GCNA1和每个图卷积层GCNk与预测层相连接,其中,K≥2,GCNk表示第k个图卷积层;本实例中,K=3。
步骤6)对基于多异构图图神经网络的物品推荐模型进行迭代训练:
步骤6a)初始化迭代次数为t,最大迭代次数为T,T≥1000,当前物品推荐模型为Ht,Ht的第m个用户的用户嵌入向量为第n个物品的物品嵌入向量为并令t=0,Ht=H,本实例中,T=2000,用户嵌入向量物品嵌入向量维度大小均固定为64;
其中,表示在属性异构图G1中用户um拥有的所有用户属性的集合,表示在属性异构图G1中拥有用户属性的所有用户的集合,表示在属性异构图G1中物品in拥有的所有物品属性的集合,表示在属性异构图G1中拥有物品属性的所有物品的集合;
为了更加充分的挖掘利用有限的数据信息,所述属性辅助层GCNA1将利用用户、物品属性信息作为辅助信息构造的属性异构图加入模型的训练中,进行不包含节点自连接的图卷积操作更新用户嵌入向量和物品嵌入向量。不同于传统属性嵌入向量获取方法仅仅利用全连接网络隐式地使用属性信息获得用户嵌入向量和物品嵌入向量,本发明通过将属性信息构造成图,利用图结构信息显式地使用属性信息,不仅可以获得节点本身的属性,还可以在属性异构图上通过邻域聚合获得邻居节点的属性信息,能够有效提升物品推荐的准确性。
步骤6b2)图卷积神经网络GCN的前K-1个图卷积层GCN1,...,GCNk,...,GCNK-1对用户-物品交互异构图G2,以及第t次迭代中的用户属性嵌入向量和物品属性嵌入向量进行不包含节点自连接的图卷积操作,得到用户属性嵌入向量和物品属性嵌入向量最后一个图卷积层GCNK对用户-物品交互异构图G2,以及第t次迭代中的用户属性嵌入向量和物品属性嵌入向量进行包含节点自连接的图卷积操作,得到用户属性嵌入向量和物品属性嵌入向量其中第k个图卷积层GCNK得到的用户属性嵌入向量和物品属性嵌入向量的表达式分别为:
其中,分别表示第t次迭代中第k层图卷积神经网络层得到的用户嵌入向量和物品嵌入向量, 是在用户-物品交互异构图G2中和用户um有交互的所有物品的集合,是在用户-物品交互异构图G2中和物品in有交互的所有用户的集合;
所述图卷积神经网络GCN为了充分挖掘用户-物品交互信息,在最后一个图卷积层GCNK中对利用用户-物品交互信息构造的用户-物品交互异构图G2进行保留节点自连接的图卷积操作。一般认为,在用户-物品交互异构图中,用户节点和物品节点仅仅包含没有语义特征的信息,然而,随着图卷积层数的增加,节点自身还包含了很多之前聚合的邻域信息,因此在最后一层保留自连接图卷积操作,可以通过提高邻域信息的权重来获得更好的用户嵌入向量和物品嵌入向量,从而提升物品推荐的准确性。实际上,根据每个真实数据集的具体情况,除了最后一层,在其它部分层保留节点自连接也可以更进一步提升物品推荐的准确性。
其中,代表除用户um外的任意用户,代表除物品in外的任意物品,是全相邻异构图G3中除用户um外的所有用户的集合,是全相邻异构图G3中除用户的所有用户的集合,是全相邻异构图G3中除物品in外的所有物品的集合,是全相邻异构图G3中除物品外的所有物品的集合;
所述全相邻辅助层GCNA2为了进一步挖掘推荐数据信息,对利用用户关系和物品关系作为辅助信息构造的全相邻异构图G3进行包含节点自连接的图卷积操作。该方法能充分利用了用户-用户、物品-物品间可能的关系,扩宽了节点间信息传递的通道,客观上使得远方的节点对目标节点拥有一定的影响力,使得节点能够获得更多远程信息,从而提高物品推荐的准确性。实际上,除了本发明所采取的仅在最后一个图卷积数据网络层后增加全相邻辅助层GCNA2外,在每一层图卷积神经网络后都增加全相邻辅助层GCNA2在多数情况下也能够进一步提升物品推荐的准确性,但这会增加算法的时间复杂度。
步骤6b4)预测层对第t次迭代中的属性辅助层GCNA1输出的用户属性嵌入向量和物品属性嵌入向量每一层图卷积神经网络GCNk输出的用户嵌入向量和物品嵌入向量以及全相邻辅助层GCNA2输出的用户嵌入向量和物品嵌入向量进行层组合,得到最终用户嵌入向量和最终物品嵌入向量并通过最终嵌入向量的点积得到用户um和物品in的预测交互概率
其中,aA1、aA2和ak代表辅助层GCNA1、辅助层GCNA2和第k层对于构成最终嵌入向量的重要性,它既可以作为一个被手动调整超参数,又可以作为一个模型参数被优化;
其中,(·)T表示向量的转置;
步骤6c)采用贝叶斯个性化排名损失函数BPR,根据用户-物品预测交互概率计算贝叶斯计算个性化排名损失值LBPR,再采用反向传播,通过损失值LBPR计算基于多异构图图神经网络的物品推荐模型的参数梯度并使用梯度下降法,通过更新基于多异构图图神经网络的物品推荐模型H的参数Θ;其中,贝叶斯个性化排名损失函数BPR的公式以及可训练参数的更新公式分别为:
其中,表示与同一用户um有交互信息的物品和没有交互信息的物品构成的对比训练样本,R+表示有交互信息的用户-物品对集合,R-表示没有交互信息的用户-物品对集合,Θ={ΘU;ΘI}表示模型可训练的用户嵌入向量权值参数和物品嵌入权值向量参数;β为L2正则化系数,Θ'为更新后模型的权值参数,Θ为更新前模型的权值参数,λ为学习率,为模型的参数梯度;
步骤6d)判断t≥T是否成立,若是,得到训练好的物品推荐模型H*,否则,令t=t+1,并执行步骤(6b);
步骤7)获取向用户推荐的物品:
选取训练好的物品推荐模型H*最终输出的M×N条预测交互概率中每个用户um与N个物品中不存在交互关系的物品的预测交互概率,并按照由大到小的顺序进行排序,然后选取前S个预测交互概率对应的物品作为向用户um推荐的物品,S≥1;本实例中,S=20。
下面结合仿真实验对本发明的技术效果作进一步说明:
1.仿真条件与内容:
仿真实验采用的处理器为Intel(R)Core(TM)i7-10875H CPU,主频为2.30GHz,内存为16G,显卡为GEFORCE GTX 2060,操作***为windows 10企业版64位操作***的平台上使用结合torch 1.7.1的python 3.8进行。
仿真实验使用如表1所示的四个来自真实世界的推荐***领域数据集:从Flixster网站采集的记录用户对电影交互信息的Flixster数据集;从豆瓣网站采集的记录用户对电影交互信息的Douban数据集;从雅虎网站采集的记录用户对音乐交互信息的YahooMusic数据集以及从Last.fm采集的记录用户对音乐交互信息的Last.fm数据集。
表1
对本发明和现有的基于矩阵分解的物品推荐方法MF和简化和增强图卷积网络的物品推荐方法LightGCN的召回率(recall)和归一化折损累计增益(NDCG)进行对比仿真,其结果如表2所示。
2.仿真结果分析:
为了更好地评价本发明的技术效果,分别计算本发明和两个现有技术在四个数据集上得到的推荐物品与其对应的真实推荐物品的召回率(recall)和归一化折损累计增益(NDCG),设置模型为用户生成可能交互物品列表的长度为20,召回率(recall)可以衡量用户的命中率,描述有多少比例的用户-物品交互记录包含在最终为用户生成的可能交互物品列表中,命中率越高,其值越靠近1,反之越靠近0,该指标越靠近1,说明物品推荐的准确性越高。归一化折损累计增益(NDCG)可以衡量用户的测试物品在为用户生成的可能交互物品列表中的位置,位置越靠前,其值越接近于1,反之越靠近0,该指标越靠近1,说明物品推荐的准确性越高。
表2
从表2可以看出,本发明相比于两个现有技术在四个数据集上的召回率(recall)和归一化折损累计增益(NDCG)均有不同程度的提升,证明本发明具有较高的准确性。
以上仿真实验表明:本发明提出的基于多异构图图神经网络的物品推荐方法首先通过在多个异构图上构造两个辅助层和多个图卷积神经网络层以获得更好的嵌入向量,从而更高效地挖掘用户、物品属性信息和用户-物品交互信息;其次通过保留部分层的节点自连接,充分利用有限的数据,保留了更多聚合到节点上的有意义的信息,提高了物品推荐的准确性。
Claims (4)
1.一种基于多异构图图神经网络的物品推荐方法,其特征在于,包括如下步骤:
(1)获取用户信息、物品信息以及用户-物品交互信息:
从真实数据集中提取M个用户u={u1,...,um,...,uM}的属性信息SU={U1,...,Um,...,UM}、N个物品i={i1,...,in,...,iN}的属性信息SI={I1,...,In,...,IN},以及M个用户与N个物品的D条用户-物品交互信息L={L1,...,Ld,...,LD},每个用户um与N个物品或其中的部分物品存在交互关系,其中,M≥500,N≥500,um表示第m个用户,Um表示um的包含K1个属性特征的属性信息,K1≥0,in表示第n个物品,In表示in的包含K2个属性特征的属性信息,K2≥0,D<<M×N,Ld表示第d条用户-物品交互信息;
(2)构建属性异构图:
(2a)对每个用户um的属性信息Um、每个物品in的属性信息In分别进行one-hot编码,得到Um的one-hot编码向量和In的one-hot编码向量并为增加M-K1个零元素,同时为增加N-K2个零元素,实现对和的扩展后,得到扩展后的维度为M的one-hot编码向量和的扩展后的维度为N的one-hot编码向量并将M个用户u扩展后的one-hot编码向量作为u的新的属性信息,将N个物品i扩展后的one-hot编码向量作为i的新的属性信息;
(2b)构建以M个用户u={u1,...,um,...,uM}及其新的属性信息N个物品i={i1,...,in,...,iN}及其新的属性信息为节点,以用户u的新的属性信息与物品i的新的属性信息的并集中的每个属性信息为边且形式为矩阵的属性异构图G1,其中,表示大小为M×M的,由新的用户属性数据构建的用户属性特征矩阵,表示大小为N×N的,由新的物品属性数据构建的物品属性特征矩阵,表示实数域;
(3)构建用户-物品交互异构图:
构建以M个用户u={u1,...,um,...,uM}与N个物品i={i1,...,in,...,iN}分别为节点,以D条用户-物品交互信息L={L1,...,Ld,...,LD}为边且形式为矩阵的用户-物品交互异构图G2,其中,表示大小为M×N的、第m个用户um与第n个物品in存在交互时阵元Rm,n=1,不存在交互时阵元Rm,n=0的用户-物品交互信息矩阵,[·]T表示转置操作;
(4)构建全相邻异构图:
构建以M个用户u={u1,...,um,...,uM}和N个物品i={i1,...,in,...,iN}为节点,以每两个用户的连线以及每两个物品的连线为边的形式为矩阵的全相邻异构图G3,其中,1(M×M)表示大小为M×M的,所有阵元均为1的用户-用户全相邻矩阵,1(N×N)表示大小为N×N的,所有阵元均为1的物品-物品全相邻矩阵;
(5)构建基于多异构图图神经网络的物品推荐模型H:
构建包含顺次连接的属性辅助层GCNA1、图卷积神经网络GCN、全相邻辅助层GCNA2和预测层的物品推荐模型H,图卷积神经网络GCN包含顺次连接的K个图卷积层GCN1,...,GCNk,...,GCNK,且属性辅助层GCNA1和每个图卷积层GCNk与预测层相连接,其中,K≥2,GCNk表示第k个图卷积层;
(6)对基于多异构图图神经网络的物品推荐模型进行迭代训练:
其中,表示在属性异构图G1中用户um拥有的所有用户属性的集合,表示在属性异构图G1中拥有用户属性的所有用户的集合,表示在属性异构图G1中物品in拥有的所有物品属性的集合,表示在属性异构图G1中拥有物品属性的所有物品的集合;
(6b2)图卷积神经网络GCN的前K-1个图卷积层GCN1,...,GCNk,...,GCNK-1对用户-物品交互异构图G2,以及第t次迭代中的用户嵌入向量和物品嵌入向量进行不包含节点自连接的图卷积操作,得到用户嵌入向量和物品嵌入向量最后一个图卷积层GCNK对用户-物品交互异构图G2,以及第t次迭代中的用户嵌入向量和物品嵌入向量进行包含节点自连接的图卷积操作,得到用户嵌入向量和物品嵌入向量其中第k个图卷积层GCNK得到的用户嵌入向量和物品嵌入向量的表达式分别为:
其中,分别表示第t次迭代中第k层图卷积神经网络层得到的用户嵌入向量和物品嵌入向量, 是在用户-物品交互异构图G2中和用户um有交互的所有物品的集合,是在用户-物品交互异构图G2中和物品in有交互的所有用户的集合;
其中,代表除用户um外的任意用户,代表除物品in外的任意物品,是全相邻异构图G3中除用户um外的所有用户的集合,是全相邻异构图G3中除用户的所有用户的集合,是全相邻异构图G3中除物品in外的所有物品的集合,是全相邻异构图G3中除物品外的所有物品的集合;
(6b4)预测层对第t次迭代中的属性辅助层GCNA1输出的用户嵌入向量和物品嵌入向量每一层图卷积神经网络GCNk输出的用户嵌入向量和物品嵌入向量以及全相邻辅助层GCNA2输出的用户嵌入向量和物品嵌入向量进行层组合,得到最终用户嵌入向量和最终物品嵌入向量并通过最终嵌入向量的点积得到用户um和物品in的预测交互概率
(6c)采用贝叶斯个性化排名损失函数BPR,根据用户-物品预测交互概率计算贝叶斯计算个性化排名损失值LBPR,再采用反向传播,通过损失值LBPR计算基于多异构图图神经网络的物品推荐模型的参数梯度并使用梯度下降法,通过更新基于多异构图图神经网络的物品推荐模型H的参数Θ;
(6d)判断t≥T是否成立,若是,得到训练好的物品推荐模型H*,否则,令t=t+1,并执行步骤(6b);
(7)获取向用户推荐的物品:
选取训练好的物品推荐模型H*最终输出的M×N条预测交互概率中每个用户um与N个物品中不存在交互关系的物品的预测交互概率,并按照由大到小的顺序进行排序,然后选取前S个预测交互概率对应的物品作为向用户um推荐的物品,S≥1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111413243.4A CN114065048B (zh) | 2021-11-25 | 2021-11-25 | 基于多异构图图神经网络的物品推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111413243.4A CN114065048B (zh) | 2021-11-25 | 2021-11-25 | 基于多异构图图神经网络的物品推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114065048A true CN114065048A (zh) | 2022-02-18 |
CN114065048B CN114065048B (zh) | 2024-02-09 |
Family
ID=80276220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111413243.4A Active CN114065048B (zh) | 2021-11-25 | 2021-11-25 | 基于多异构图图神经网络的物品推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114065048B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637888A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市华曦达科技股份有限公司 | 一种视频推送方法及装置 |
CN114756768A (zh) * | 2022-06-15 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
CN114925279A (zh) * | 2022-06-07 | 2022-08-19 | 支付宝(杭州)信息技术有限公司 | 推荐模型训练方法、推荐方法以及装置 |
CN114969508A (zh) * | 2022-04-27 | 2022-08-30 | 阿里巴巴达摩院(杭州)科技有限公司 | 推荐模型数据处理方法 |
CN115952359A (zh) * | 2023-03-10 | 2023-04-11 | 特斯联科技集团有限公司 | 推荐***召回方法及装置、电子设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611472A (zh) * | 2020-03-31 | 2020-09-01 | 清华大学 | 一种基于图卷积神经网络的捆绑推荐方法及*** |
WO2021179834A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 基于异构图进行业务处理的方法及装置 |
-
2021
- 2021-11-25 CN CN202111413243.4A patent/CN114065048B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021179834A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 基于异构图进行业务处理的方法及装置 |
CN111611472A (zh) * | 2020-03-31 | 2020-09-01 | 清华大学 | 一种基于图卷积神经网络的捆绑推荐方法及*** |
Non-Patent Citations (1)
Title |
---|
杨辉;王月海;豆震泽;: "一种基于文本卷积神经网络的推荐算法", 计算机与现代化, no. 10 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114969508A (zh) * | 2022-04-27 | 2022-08-30 | 阿里巴巴达摩院(杭州)科技有限公司 | 推荐模型数据处理方法 |
CN114637888A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市华曦达科技股份有限公司 | 一种视频推送方法及装置 |
CN114925279A (zh) * | 2022-06-07 | 2022-08-19 | 支付宝(杭州)信息技术有限公司 | 推荐模型训练方法、推荐方法以及装置 |
CN114756768A (zh) * | 2022-06-15 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
CN114756768B (zh) * | 2022-06-15 | 2022-09-02 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备、可读存储介质及程序产品 |
CN115952359A (zh) * | 2023-03-10 | 2023-04-11 | 特斯联科技集团有限公司 | 推荐***召回方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114065048B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112214685B (zh) | 一种基于知识图谱的个性化推荐方法 | |
CN111259133B (zh) | 一种融合多信息的个性化推荐方法 | |
CN114065048A (zh) | 基于多异构图图神经网络的物品推荐方法 | |
Taneja et al. | Modeling user preferences using neural networks and tensor factorization model | |
CN111191092B (zh) | 标签确定方法和标签确定模型训练方法 | |
CN113158033A (zh) | 一种基于知识图谱偏好传播的协同推荐模型构建方法 | |
CN110717098A (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN112883289B (zh) | 一种基于社交信任和标签语义相似度的pmf推荐方法 | |
CN112632296B (zh) | 基于知识图谱具有可解释性的论文推荐方法及***、终端 | |
CN114020999A (zh) | 一种电影社交网络的社区结构检测方法及*** | |
CN111522886A (zh) | 一种信息推荐方法、终端及存储介质 | |
CN111159242B (zh) | 一种基于边缘计算的客户端重排序方法及*** | |
CN114282077A (zh) | 一种基于会话数据的会话推荐方法及*** | |
CN109086463A (zh) | 一种基于区域卷积神经网络的问答社区标签推荐方法 | |
Hazrati et al. | Entity representation for pairwise collaborative ranking using restricted Boltzmann machine | |
CN115329215A (zh) | 异构网络中基于自适应动态知识图谱的推荐方法及*** | |
CN115344698A (zh) | 标签处理方法、装置、计算机设备、存储介质和程序产品 | |
Hekmatfar et al. | Embedding ranking-oriented recommender system graphs | |
Nazari et al. | Scalable and data-independent multi-agent recommender system using social networks analysis | |
Cao et al. | Implicit user relationships across sessions enhanced graph for session-based recommendation | |
CN112559877A (zh) | 基于跨平台异构数据及行为上下文的ctr预估方法及*** | |
CN116911949A (zh) | 基于边界排名损失和邻域感知图神经网络的物品推荐方法 | |
Ifada et al. | Do-rank: DCG optimization for learning-to-rank in tag-based item recommendation systems | |
CN114842247B (zh) | 基于特征累加的图卷积网络半监督节点分类方法 | |
Hekmatfar et al. | Attention-based recommendation on graphs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |