CN114676315A - 基于增强图卷积的属性融合交互推荐模型构建方法及*** - Google Patents

基于增强图卷积的属性融合交互推荐模型构建方法及*** Download PDF

Info

Publication number
CN114676315A
CN114676315A CN202210106409.6A CN202210106409A CN114676315A CN 114676315 A CN114676315 A CN 114676315A CN 202210106409 A CN202210106409 A CN 202210106409A CN 114676315 A CN114676315 A CN 114676315A
Authority
CN
China
Prior art keywords
user
comment
interaction
attribute
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210106409.6A
Other languages
English (en)
Inventor
杨振宇
王钰
崔来平
李怡雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210106409.6A priority Critical patent/CN114676315A/zh
Publication of CN114676315A publication Critical patent/CN114676315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0629—Directed, with specific intent or strategy for generating comparisons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了基于增强图卷积的属性融合交互推荐模型构建方法及***，包括：构建基于增强图卷积的关系编码器，从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；构建融合属性信息的评论编码器，对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。本发明通过分析研究表明，PGIR提出的属性激活方法可以很好的解决消极用户推荐不准确的情况，这不仅提高了模型性能，同时提高了推荐的鲁棒性和可解释性。

Description

基于增强图卷积的属性融合交互推荐模型构建方法及***
技术领域
本发明属于信息处理技术领域，尤其涉及基于增强图卷积的属性融合交互推荐模型构建方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
推荐***的目的是向用户推荐相关物品。到目前为止，推荐***已经在许多应用程序中取得了巨大的成功。这些应用收集大量的用户物品交互记录，为推荐***实现准确推荐提供了前所未有的机会，进而极大的减轻了用户决策的复杂性。评论是最为常见的显示反馈，其代表了用户对物品的最真实交互体验。一些研究专注于利用用户发布的评论文本，从中提取特征信息，为用户和物品预测评分并作出推荐。
近年来，在评分预测领域，评论文本已经成为用户和物品建模的有效辅助信息。人们使用各种深度学习技术从文本中学习潜在的特征信息。例如，ConvMF和DeepCoNN采用卷积神经网络从评论文本中提取特征信息来建模用户和商品；MPRS将用户物品的评论拼接并形成交互矩阵，使用卷积神经网络来捕捉用户和物品评论之间的交互特征；TARMF使用循环神经网络得到每条评论文本的特征表示；MPCN利用一个类似循环神经网络的门控机制，预期能够先捕捉文本的重要信息再进行评论特征的建模。 NARRE认为不同的评论具有不同的重要性,因此提出了评论级的注意力机制来刻画每一条评论的权重。Acapnet和CARP利用胶囊网络多层次的从评论文本中提取不同方面的重要信息。这些方法在整体上的性能是令人满意的。
图神经网络这一研究课题近年来受到越来越多的关注。近年来，研究人员借鉴卷积网络，循环网络和深度自动编码器的思想，设计了用于处理图数据的神经网络结构，即图神经网络。进而，研究者们结合图卷积网络和传统的协同过滤技术，利用丰富的结构信息，提出了一系列的推荐模型。例如，Wang等人设计了一个神经图协同过滤(NGCF)模型，通过图神经网络抽取用户-项交互图中丰富的侧面信息，来更好的学***滑问题。
上文提到的评分预测模型都尝试利用神经网络精确的捕捉评论文本的重要特征信息，取得了不错的效果。大部分模型忽略了一点，即不是每一条评论都能反应用户(物品)的特征。一些模型意识到了这一点，但也仅仅通过对评论文本做注意力来为无用评论分配较小的权重。然而，上述这种方法存在局限性，仅通过文本特征来判断评论文本的重要性不具有说服力，且注意力只能评估历史数据中评论的有用性，而无法与未参与训练的评论产生关联。上述图卷积神经网络虽能捕获用户物品间的高阶连通信号，但在生成用户项目二部图时是静态的。换句话说，他们没有考虑节点邻居间的时序关系。因此无法直接用于推荐模型中。
发明内容
为克服上述现有技术的不足，本发明提供了基于增强图卷积的属性融合交互推荐模型构建方法及***，用于解决评分预测任务。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于增强图卷积的属性融合交互推荐模型构建方法，包括：
构建基于增强图卷积的关系编码器，从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；
构建融合属性信息的评论编码器，对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。
进一步的技术方案，构建基于增强图卷积的关系编码器的步骤为：
通过用户与物品的交互为节点构建用户-物品二部图；
自注意力聚合器融合用户-物品二部图中交互节点的时序信息，用户- 物品注意力聚合器聚合用户或物品的邻居节点，以此来学习用户和物品在每个时刻的嵌入表示；
利用增强图卷积对用户-物品二部图进行多层图卷积，学习用户-物品二部图中各节点的高阶信号；
根据学习的用户和物品在每个时刻的嵌入表示及用户-物品二部图中各节点的高阶信，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示。
进一步的技术方案，构建融合属性信息的评论编码器的步骤为：
利用扩张卷积提取评论文本特征；
对属性信息进行处理；
将评论文本特征与属性信息结合，进而使用基于自监督学习的特征交互聚合模块来判断评论的有用性并得到评论的准确特征表示。
进一步的技术方案，构建用户-物品二部图之前需要每个用户和物品对应的一组评论数据，包括：用户u发布的数量为p的评论集及物品v收到的数量为q的评论集。
进一步的技术方案，所述用户-物品二部图中的节点由两个不相交的子集构成；
所述用户-物品二部图的每条边表示一个交互行为；
用户的邻居是一个有序子集，包括在时间t之前最新的n个交互物品；
物品的邻居包括在时间t之前最新的m个交互用户。
第二方面，公开了基于增强图卷积的属性融合交互推荐模型构建***，包括：
基于增强图卷积的关系编码器构建模块，用于从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；
融合属性信息的评论编码器构建模块，用于对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。
第三方面，公开了基于增强图卷积的属性融合交互推荐模型，包括：
基于增强图卷积的关系编码器，包括嵌入层及增强图卷积层；
所述嵌入层用于将用户和物品的id及其对应的时序信息映射到低维向量表示；
所述增强图卷积层使用图卷积操作来聚合邻居信息并更新用户和物品嵌入；
及融合属性信息的评论编码器；
所述融合属性信息的评论编码器对用户和物品的评论集中的文本处理，获得评论的多粒度特征表示；对评论文本对应的属性信息进行处理，并与评论的多粒度特征表示结合得到多个融合属性信息的评论特征；
接着将多个融合属性信息的评论特征视为节点，将有益的特征交互对输入到相加层得到最终包含有用性信息的评论特征表示，获得融合评论的属性特征并包含了评论的有用性信息。
进一步的技术方案，所述嵌入层使用用户的邻居信息来更新用户嵌入，使用物品的邻居信息来更新物品嵌入，并为邻居添加对应的时序信息来增强邻居的特征表示。
进一步优选的技术方案，所述嵌入层将用户和物品id随机初始化为d 维嵌入向量ui、vj，为用户和物品形成两个初始嵌入矩阵；
在训练过程中，通过用户和物品id从嵌入矩阵查找对应的初始嵌入向量，用于后面的训练。
进一步优选的技术方案，针对初始嵌入矩阵，为每个交互添加时序信息来增强其特征表示：
将时序信息转化为对应的嵌入向量，其中，时间信息被定义为历史交互与最新交互的时间间隔，将其转化为时间嵌入t，反应历史交互对当前状态的实际影响；
顺序信息被定义为历史交互在交互序列中的位置，将其转化为位置嵌入p，反应各个交互在交互序列中的不同作用。
第四方面，公开了基于增强图卷积的属性融合交互推荐***，包括：
将用户和物品的高阶联通特征作为注意力参与物品评论集的学习，得到物品的评论特征表示；
基于增强图卷积的属性融合交互推荐模型将用户和物品的评论特征及用户和物品的高阶联通特征连接起来进行预测，得到下一时刻用户对物品的评论交互情况。
以上一个或多个技术方案存在以下有益效果：
本发明的模型以不同的属性激活方式将属性信息融入到文本建模中，并以自监督的方式为评论文本匹配有益的属性特征交互对，以获得评论文本的准确特征表示；此外，本发明分析了用户物品间的高阶协同关系，并设计了一个增强图卷积方法用以捕获用户物品间的高阶协同信号，在此基础上来建模用户和物品的动态特征。
本发明提出的PGIR模型比现有模型(包括基于文档的方法和基于评论的方法)始终取得更好的评分预测结果。进一步，本发明通过分析研究表明，PGIR提出的属性激活方法可以很好的解决消极用户推荐不准确的情况，这不仅提高了模型性能，同时提高了推荐的鲁棒性和可解释性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1(a)-图1(b)为本发明实施例用户-物品交互图；
图2为本发明实施例模型图；
图3为本发明实施例扩张卷积示意图；
图4为本发明实施例特征交互融合图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了基于增强图卷积的属性融合交互推荐模型构建方法，基于增强图卷积的属性融合交互推荐模型命名为PGIR。
下面说明其来源：用户物品的高阶协同信号隐藏在用户物品交互中，下面我们通过具体实例来分析用户物品的高阶协同关系。图1是以用户-物品交互信息(评论)派生的二部图，显示了用户物品间的高阶连通性。图1 (a)中的二部图包括三个用户(u1,u2,u3)及其交互的三个物品(v1,v2,v3)，每个用户物品对都有交互发生的时间(t)。图1(b)表示以用户u1为节点的两个树状结构，分别表示用户在t5和t4时刻的高阶连通性。显然，用户 u1在这两个时刻有着不同的高阶连通性，因此在对用户做出推荐时需要考虑时间动态。在只考虑交互的情况下(不考虑好评差评)，可以看出在t5 时刻u1和u2有两条路径，这表明在这一时刻u1和u2的相似性很高。如果只考虑一阶特征，模型便不能捕获出这种高阶相似性。因此，有必要对高阶信息进行建模，以更好地描述用户的动态偏好和物品的动态特质。
图1中的交互是基于用户评论行为而产生的，这些评论由不同用户发出，有着不同的特点，表1显示了交互对应的评论文本。从表1中可以看出，不同用户的评论风格不同，有的从物品本身客观评价，有的则带有极强烈的主观色彩。此外，评论文本长短不一，其中“......”表示文本字数超过 200。另外，并不是所有的评论都可以用来表示用户的偏好和物品的质量。通过评估评论的有用性，可以使推荐模型在大量的可用信息中专注于那些有价值的评论，从而提高模型的性能。许多研究借助注意力机制来模拟评论的有用性。然而，上述方法存在局限性，仅通过文本特征来判断评论文本的重要性不具有说服力，且注意力只能评估历史数据中评论的有用性，而无法与未参与训练的评论产生关联。
表1用户对物品的评论
Figure RE-GDA0003647615410000071
为了解决上面的限制，本发明考虑评论属性来对评论的有用性进行建模。如表1所示，用户发表的评论有一些对应的属性信息。除表1中显示出的评论的长度属性和评分属性外，评论的发布的时间以及被点赞情况也能反应评论的有用性。综上所述，以评论的属性信息来辅助判断评论文本的有用性是可行的。这些评论的属性与历史评论及未参与训练的评论相关联，弥补了仅使用评论文本特征的不足。
为了综合利用用户物品的高阶协同信号以及评论的属性信息，本发明提出了一个基于增强图卷积的属性融合交互推荐模型(PGIR)，它能有效的识别用户物品间的高阶连通性，并能结合不同的评论属性评判评论的有用性，用于学习用户偏好和物品特质。PGIR由两个主要模块组成：基于增强图卷积的关系编码器和融合属性信息的评论编码器。基于增强图卷积的关系编码器用于捕获用户物品间的高阶连通关系。具体的说，本发明通过用户与物品的交互信息构建二部图，并设计了一个增强图卷积。首先，本发明在卷积之前设计了一个自注意力聚合器，它通过融合交互节点的时序信息，来学习用户和物品在每个时刻的嵌入表示。其次，对用户-物品二部图进行多层图卷积，学习各节点的高阶信号。基于此，本发明便获得了用户物品在各个时刻包含了高阶协同信号的动态特征表示。
融合属性信息的评论编码器用于判别评论的有用性并融合属性信息。首先，本发明对评论文本及其对应的属性进行相应的处理并融合。其次，本发明还设计了一个基于自监督学习的特征交互聚合模块来判断评论的有用性并得到评论的准确特征表示。具体来说，本发明考虑到有益的属性对更能有效的反应评论的有用性，例如，流行度高的商品往往有着很多的新鲜度较高的评论，这时(时间，评分)属性对可以简单有效的反应评论的有用性；但是对于流行度不高的物品来说本发明需要从新鲜度不高的评论中挖掘有价值的信息，通常较长评论可以提取更多的有用信息，这时(时间，长度)属性对对判断评论的有用性可能起到关键的作用。基于此编码器，本发明便能得到评论的准确特征表示。
本发明的模型结构由两个重要部分组成，本发明将其命名为：基于增强图卷积的关系编码器和融合属性信息的评论编码器。其中，基于增强图卷积的关系编码器用于从用户物品交互行为中提取用户物品间的高阶特征，用作用户(物品)的动态特征表示；融合属性信息的评论编码器通过融合属性信息经过自监督的特征交互聚合模块来判断评论的有用性并得到评论的准确特征表示。如图2所示。
本发明是推荐***中的评分预测任务，其目的是根据用户的偏好及物品特质为用户物品对预测更准确的评分。
每个用户和物品都有对应的一组评论数据，
Figure RE-GDA0003647615410000091
表示由用户 u发布的数量为p的评论集，
Figure RE-GDA0003647615410000092
表示物品v收到的数量为q的评论集。其中Di＝{w1,w2,...,wt}表示一条具有t个单词的评论文本。同时，每条评论可以用P＝{P1,P2,...,Pk}来表示评论的k个属性。例如评论的长度属性(长短)、时间属性(发布时间的远近)、评分属性(1到5)、有用性(点赞) 等，将其映射到特定的区间值，使用属性对应的标量来定义评论的有效性。以长度为例，越长的文本其长度属性得分越接近于1，这表明越长的评论越有用。同样的，综合考量评论的其他属性得分，来判断评论的有用性。
为捕获用户物品间的高阶特征，本发明以用户-物品评论交互为节点构建二部图G。其中，节点由两个不相交的子集U、V构成，图G的每条边表示一个交互行为。用户的邻居是一个有序子集，包括在时间t之前最新的 n个交互物品，表示为Nu,t＝{vt-n,vt-n+1,...,vt}；同样的，物品的邻居包括在时间 t之前最新的m个交互用户，表示为Nv,t＝{ut-m,ut-m+1,...,ut}。
基于增强图卷积的关系编码器包括：嵌入层、增强图卷积层。
嵌入层的作用是将用户和物品的id及其对应的时序信息映射到低维向量表示。具体来说，本发明使用用户的邻居信息来更新用户嵌入，使用物品的邻居信息来更新物品嵌入，并为邻居添加对应的时序信息来增强邻居的特征表示。
首先，本发明将用户和物品id随机初始化为d维嵌入向量ui、vj，基于此为用户和物品形成两个初始嵌入矩阵
Figure RE-GDA0003647615410000101
和
Figure RE-GDA0003647615410000102
其中|U|和|V| 分别表示用户和物品的数量。需要注意的是，在训练过程中，本发明通过用户和物品id从嵌入矩阵查找对应的初始嵌入向量，用于后面的训练。
其次，对于交互行为除去用户和物品两个关键实体外，交互的时序信息也是至关重要的。因此，本发明为每个交互添加时序信息来增强其特征表示。具体的，本发明将时序信息转化为对应的嵌入向量。其中，时间信息被定义为历史交互与最新交互的时间间隔，将其转化为时间嵌入t，它能反应历史交互对当前状态的实际影响；顺序信息被定义为历史交互在交互序列中的位置，将其转化为位置嵌入p，它反应了各个交互在交互序列中的不同作用。
增强图卷积层：本发明使用图卷积操作来聚合邻居信息并更新用户和物品嵌入。由于模型是针对用户和物品的并行网络，本发明以用户为视角进行介绍。给定用户节点u在t时刻的邻居集Nu,t＝{vt-n,vt-n+1,...,vt}。本发明将第l层的聚合过程简化为以下两步：
Figure RE-GDA0003647615410000103
Figure RE-GDA0003647615410000104
其中，
Figure RE-GDA0003647615410000105
表示第l层迭代时邻居集中的物品表示形式，
Figure RE-GDA0003647615410000106
和
Figure RE-GDA0003647615410000107
是两个可训练的参数矩阵，它能将不同类型的节点投影到同一特征空间中。需要注意的是，与当前的多数GCN相比，本发明的增强图卷积重新定义了节点的邻居，即选取交互时间t之前的n个交互作为邻居节点，这在一定程度上缓解了GCN的过平滑问题；同时，本发明将时序信息融入到节点中增强其特征表示。接下来，本发明对编码器进行详细介绍。
时序自注意力聚合：自注意力聚合器的主要作用是，使用对应的时序信息增强节点邻居的特征表示。对于用户的邻居集，本发明为每个vj的第l 层迭代进行自注意力聚合，得到元素
Figure RE-GDA0003647615410000111
使用
Figure RE-GDA0003647615410000112
来定义物品嵌入及其对应的时间嵌入和位置嵌入。聚合过程可被表述为下式：
Figure RE-GDA0003647615410000113
上式中，权重系数
Figure RE-GDA0003647615410000114
使用softmax函数计算，定义为：
Figure RE-GDA0003647615410000115
Figure RE-GDA0003647615410000116
其中，
Figure RE-GDA0003647615410000117
是一个限制因子，防止某一内积值过高。
在对每个邻居节点进行自注意后，本发明对每个元素
Figure RE-GDA0003647615410000118
进行非线性激活得到融合时序信息的特征表示，即：
Figure RE-GDA0003647615410000119
其中，
Figure RE-GDA00036476154100001110
为可训练的参数矩阵。
用户注意力聚合：经过以上自注意力聚合，得到了一个融合了时序信息的物品表示集合
Figure RE-GDA00036476154100001111
由于用户对不同物品具有不同的偏好程度，本发明对集合进行用户注意力聚合来模拟这一过程，即：
Figure RE-GDA00036476154100001112
Figure RE-GDA00036476154100001113
其中，
Figure RE-GDA00036476154100001114
为可训练的参数，
Figure RE-GDA00036476154100001115
是用户ui对物品vj的关注度权重，
Figure RE-GDA00036476154100001116
是迭代了l-1次的用户嵌入。基于以上信息，用户的第l层邻居聚合用下式表示：
Figure RE-GDA00036476154100001117
堆叠卷积：捕获用户物品间的高阶连通性对于建模用户对物品的偏好是非常重要的。在一阶连通性的基础上，本发明可以叠加L层增强图卷积，以获得用户(物品)的高阶连通特征。经过上述操作，本发明聚合了第l 次迭代的邻居信息。使用公式(2)融合用户特征及邻居信息便得到了最终的用户表示，该表示融合了用户l跳的邻居协同信号。最终，本发明以图卷积层的最后一层输出的嵌入向量作为用户的高阶连通特征表示，即
Figure RE-GDA0003647615410000121
进而，本发明以同样的方式来获得物品的高阶连通特征表示，即
Figure RE-GDA0003647615410000122
关于融合属性信息的评论编码器：
文本建模：由于对用户和物品的评论集(Du,Dv)中的文本处理方法相同，故此本发明还是以用户为视角，且仅对单个文本的建模过程进行介绍，将文本Di简化为D，文本的长度为t。使用多层扩张卷积从文本中提取多粒度信息，丰富评论文本的特征表示。
对于给定的评论文本D＝[w1,w2,...,wt]，模型通过词袋模型将每个单词映射为对应的d维向量，即
Figure RE-GDA0003647615410000123
然后，将词向量矩阵D送入多层扩张卷积中，捕获评论文本的多粒度特征信息。
与普通的CNN不同的是，扩张卷积通过每次跳过δ个词嵌入来扩大感受野。对于中心单词xt和大小为2w+1的卷积核K，扩张卷积的原理如图3 所示，同样为3×3的卷积核，通过改变扩张率，卷积核的感受野变为7×7、 15×15。
扩张卷积的公式可以表示为：
Figure RE-GDA0003647615410000124
其中，
Figure RE-GDA0003647615410000125
是向量拼接操作，b是偏置向量，ReLU是非线性激活函数。
对于多层扩张卷积来说，前一层的输出是下一层的输入。因此，只需要适当的调整扩张率逐层扩大卷积核的感受野，该模块便可以极少的参数，聚合不同感受野内的语义信息。换言之，该模块以少量的参数从文本中捕获了长期依赖关系，且并行能力优于循环神经网络。
同时，每一层的输出经过mean-pooling操作，代表了该粒度下文本的语义特征表示。因此，经过L层的扩张卷积后，评论的多粒度特征表示为：
Figure RE-GDA0003647615410000131
其中，
Figure RE-GDA0003647615410000132
是文本经过l层扩张卷积并池化后的粒度特征表示，f是卷积核的数量，在本发明将f设置为与隐藏层的维度d相同，
Figure RE-GDA0003647615410000133
是向量拼接操作。
属性处理：在这一层中，模型通过点积的方法将属性信息融入到文本特征中。这一步的目的是从不同属性角度(文本长度，发布时间，评分，有用性(获赞)等)来判断评论的有用性。即融合属性的评论特征可被表示为：
Figure RE-GDA0003647615410000134
其中，
Figure RE-GDA0003647615410000135
代表了融入了第k个属性的评论特征表示，MLP() 表示将
Figure RE-GDA0003647615410000136
转换为
Figure RE-GDA0003647615410000137
在这个工作中，筛选了4个具有说服力的评论属性，从不同角度来判断评论的有用性。
文本长度：评论文本的长短不一，根据每条评论单词个数对文本的长度属性进行归一化处理。通常，认为越长的文本越有用。
发布时间：首先，为每个评论减去最古老的评论时间，来表示每条评论的新鲜度，在对此新鲜度进行归一化处理，得到评论的时间属性得分。通常，认为最近的评论更具有参考价值。
评分：每条评论对应的评分为1-5，仅对评分进行归一化处理具有一定的弊端。因为，通常来讲不仅高分评论具有参考价值，低分评论同样反映了用户强烈的兴趣偏好。因此设计了一个激活函数
Figure RE-GDA0003647615410000138
来处理评分属性。其中，
Figure RE-GDA0003647615410000139
是用户评分的平均分，代表了用户的中性偏好。通过这个激活函数，用户的积极偏好和消极偏好都得到了较高的属性得分。该激活函数的有用性，将在实验部分进行分析研究。
有用性：大多数电商平台提供评论点赞功能，我们将每条评论的点赞数量进行归一化处理，获得对应的属性得分。
值得注意的是，上述实施例子提到的属性只是几种常用属性。上述的模型是可扩展的，因此，其他属性在经过处理后也可以加入到模型中。
特征交互融合：考虑到有益的属性对更能有效的反应评论的有用性，因此单纯的使用注意力聚合多个融合属性信息的评论特征未必能达到较好的效果。受图神经网络启发，本发明将多个融合属性信息的评论特征视为节点，如图4所示。首先，预测多个节点之间是否存在边连接，若有则代表两个属性特征为有益的特征交互，有利于判断评论的有用性。其次，在有边的基础上，将融合不同属性信息的评论特征两两结合，并将有益的特征交互对输入到相加层得到最终包含有用性信息的评论特征表示。
具体的，以融合了P1、P2属性的两个节点为例，使用如下公式来预测两点间的边信息：
Figure RE-GDA0003647615410000141
其中，Pre()是一个经过sigmoid激活的MLP网络，其输入是
Figure RE-GDA0003647615410000142
和
Figure RE-GDA0003647615410000143
的元素乘积，α的值被限制在[0,1]范围，值为0表示两个节点非有益交互，若非零则表示两节点为有益交互，且α的值即为两节点交互的有益程度。以同样的方式，可以得到节点间两两交互的有益程度。进而，将有益度与对应的属性对相乘，输入到相加层得到最终的评论特征表示，此特征融合了评论的属性特征并包含了评论的有用性信息。具体的可被公式为：
Figure RE-GDA0003647615410000144
以同样的方式处理用户评论集中的评论，最终用户的评论特征矩阵表示为
Figure RE-GDA0003647615410000145
进而，以用户的高阶特征为评论特征矩阵做注意力聚合，可被公式为：
sui＝(Ri)T tanh(W·Eu+b) (15)
Figure RE-GDA0003647615410000146
其中，αui是用户u对评论集中第i条评论的关注度权重。基于以上信息，用户评论特征矩阵的聚合可用下式表示：
Figure RE-GDA0003647615410000151
同样的，对物品评论集进行上述操作，得到物品的评论特征表示Rv。
预测及训练：
最后，PGIR将用户和物品的评论特征(Ru,Rv)及用户和物品的高阶联通特征(Eu,Ev)连接起来进行预测。预测下一时刻用户对物品的评论交互情况即评分。用户对物品的评分预测可被计算为：
Figure RE-GDA0003647615410000152
其中，
Figure RE-GDA0003647615410000153
是可训练的参数矩阵，
Figure RE-GDA0003647615410000154
是对应的偏置向量，σ是ReLU激活函数。
PGIR模型解决了推荐***中的评分预测问题，简而言之，对于一个用户物品对，它将为用户物品对预测更精准的评分。因此，选择较为常用的均方误差损失作为目标函数，即：
Figure RE-GDA0003647615410000155
其中，τ是训练集，y是用户u给物品v的真实评分。
为防止特征交互模块中的边权重过多过大，以自监督的方式来限制此模块。其目的是让模型检测到的有益属性对尽量的少，这样便能捕获最能说明评论有用性的属性对信息。因此，最终的损失函数可被公式为：
Figure RE-GDA0003647615410000156
其中，λ是正则化权重因子，πij表示每条评论中两个属性节点交互的有益程度。
针对评分预测任务，本发明提出了一种基于增强图卷积的属性融合交互推荐模型。首先，用户的兴趣和物品的特质是不断变化的，且用户物品间隐藏着丰富的高阶协同信号，设计了一个基于增强图卷积的关系编码器来捕获这些信息，它可以在每个时间节点，为用户(物品)聚合邻居信息，获得其融合高阶邻居信息的动态特征表示。其次，我们认为，评论的属性信息可以对评论文本起到鉴别、纠正的作用。因此，本发明设计了一个融合属性信息的评论编码器通过融入评论的属性来判别评论的有用性。本发明还设计了一个基于自监督学习的特征交互聚合模块，可以为评论匹配有益的属性对，该模块进一步提高了模型的推荐性能。最后，通过在五个标准的数据集上进行了大量的实验，结果表明，本发明提出的PGIR模型比现有模型(包括基于文档的方法和基于评论的方法)始终取得更好的评分预测结果。进一步，本发明通过分析研究表明，PGIR提出的属性激活方法可以很好的解决消极用户推荐不准确的情况，这不仅提高了模型性能，同时提高了推荐的鲁棒性和可解释性。
推荐***对积极用户的推荐精度高于消极用户。因此，提高模型对消极用户的推荐精度将会大幅提高模型的推荐性能。一些工作也尝试在这方面做出改进，将用户评分进行归一化，融入到评论文本特征中，并以此来为用户和物品建模，这在一定程度上提高了模型的推荐性能。但是，简单的归一化处理不具有普适性，用户的低评分行为反映了用户极为强烈的偏好，归一化处理削弱了该偏好的程度。基于此，本发明提出了处理用户属性评分的激活函数，即激活函数
Figure RE-GDA0003647615410000161
为了验证本发明提出的激活函数的有用性，本发明对Video数据集进行拆分。以用户为视角，将平均评分大于4分的用户定义为积极用户，其余的为消极用户。发现，消极用户的评分跨度很大，即消极用户既有积极评价也有消极评价，这对模型来说是一个极大的挑战。本发明为模型设计不同变体，来验证猜想：No-rating模型表示不使用rating属性，PGIR-nor模型表示使用归一化的方法来处理评分属性。其实验结果如表2所示。
表2评分激活方法对模型性能的影响
Figure RE-GDA0003647615410000162
Figure RE-GDA0003647615410000171
注意到，在其他实验条件不变的情况下，评分属性对提高模型性能有极大的贡献。对于完整的Video数据集，本发明的激活方法相较于归一化处理方法有了大幅提升；通过Video_pos数据集的结果来看，模型对积极用户兴趣的捕捉相对简单，可以轻松的做出精确的推荐，因此本发明的激活方法和普通的归一化处理方法都表现出了较好的预测性能；通过对Video_neg 数据集的结果进行分析，本发明的激活方法比不使用评分属性的方法有了大幅提高，真正的捕获了消极用户偏好信息。同时，归一化方法虽然也提高了模型性能，但是本发明的激活方法依然在归一化方法的基础上将模型性能提升了超过5％。如何捕获消极用户的偏好并对其进行精确预测一直以来都是推荐***的难点，实验证明，本发明的方法在一定程度上解决了这个问题。对消极用户预测精度的提高正是我们模型性能提高的原因之一。
在Amazon上的5个标准数据集上进行了大量的实验，结果表明与最近提出的先进模型相比，本发明提出的PGIR模型在评分预测方面取得了实质性的提高。此外，本发明还通过实验证明了所提出属性激活方法的优越性，这进一步提高了PGIR的评分预测性能。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供公开了基于增强图卷积的属性融合交互推荐模型构建***，包括：
基于增强图卷积的关系编码器构建模块，用于从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；
融合属性信息的评论编码器构建模块，用于对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。
在另一实施例子中，还公开了基于增强图卷积的属性融合交互推荐模型，包括：
基于增强图卷积的关系编码器，包括嵌入层及增强图卷积层；
所述嵌入层用于将用户和物品的id及其对应的时序信息映射到低维向量表示；
所述增强图卷积层使用图卷积操作来聚合邻居信息并更新用户和物品嵌入；
及融合属性信息的评论编码器；
所述融合属性信息的评论编码器对用户和物品的评论集中的文本处理，获得评论的多粒度特征表示；对评论文本对应的属性信息进行处理，并与评论的多粒度特征表示结合得到多个融合属性信息的评论特征。
接着表示融合属性的评论特征，将多个融合属性信息的评论特征视为节点，将有益的特征交互对输入到相加层得到最终包含有用性信息的评论特征表示，获得融合评论的属性特征并包含了评论的有用性信息。
以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于增强图卷积的属性融合交互推荐模型构建方法，其特征是，包括：
构建基于增强图卷积的关系编码器，从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；
构建融合属性信息的评论编码器，对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。
2.如权利要求1所述的基于增强图卷积的属性融合交互推荐模型构建方法，其特征是，构建基于增强图卷积的关系编码器的步骤为：
通过用户与物品的交互为节点构建用户-物品二部图；
自注意力聚合器融合用户-物品二部图中交互节点的时序信息，用户-物品注意力聚合器注意力聚合器聚合用户或物品的邻居节点，以此来学习用户和物品在每个时刻的嵌入表示；
利用增强图卷积对用户-物品二部图进行多层图卷积，学习用户-物品二部图中各节点的高阶信号；
根据学习的用户和物品在每个时刻的嵌入表示及用户-物品二部图中各节点的高阶信，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示。
3.如权利要求1所述的基于增强图卷积的属性融合交互推荐模型构建方法，其特征是，构建融合属性信息的评论编码器的步骤为：
利用扩张卷积提取评论文本特征；
对属性信息进行处理；
将评论文本特征与属性信息结合，进而使用基于自监督学习的特征交互聚合模块来判断评论的有用性并得到评论的准确特征表示。
4.如权利要求2所述的基于增强图卷积的属性融合交互推荐模型构建方法，其特征是，构建用户-物品二部图之前需要每个用户和物品对应的一组评论数据，包括：用户u发布的数量为p的评论集及物品v收到的数量为q的评论集。
优选的，所述用户-物品二部图中的节点由两个不相交的子集构成；
所述用户-物品二部图的每条边表示一个交互行为；
用户的邻居是一个有序子集，包括在时间t之前最新的n个交互物品；
物品的邻居包括在时间t之前最新的m个交互用户。
5.基于增强图卷积的属性融合交互推荐模型构建***，其特征是，包括：
基于增强图卷积的关系编码器构建模块，用于从用户物品交互行为中提取用户物品间的高阶特征，获得用户和物品在各个时刻包含了高阶协同信号的动态特征表示；
融合属性信息的评论编码器构建模块，用于对评论文本及其对应的属性进行相应的处理并融合，得到评论的准确特征表示。
6.基于增强图卷积的属性融合交互推荐模型，其特征是，包括：
基于增强图卷积的关系编码器，包括嵌入层及增强图卷积层；
所述嵌入层用于将用户和物品的id及其对应的时序信息映射到低维向量表示；
所述增强图卷积层使用图卷积操作来聚合邻居信息并更新用户和物品嵌入；
及融合属性信息的评论编码器；
所述融合属性信息的评论编码器对用户和物品的评论集中的文本处理，获得评论的多粒度特征表示；
对评论文本对应的属性信息进行处理，并与评论的多粒度特征表示结合得到多个融合属性信息的评论特征；
接着将多个融合属性信息的评论特征视为节点，将有益的特征交互对输入到相加层得到最终包含有用性信息的评论特征表示，获得融合评论的属性特征并包含了评论的有用性信息。
7.如权利要求6所述的基于增强图卷积的属性融合交互推荐模型，其特征是，所述嵌入层使用用户的邻居信息来更新用户嵌入，使用物品的邻居信息来更新物品嵌入，并为邻居添加对应的时序信息来增强邻居的特征表示；
优选的，所述嵌入层将用户和物品id随机初始化为d维嵌入向量ui、vj，为用户和物品形成两个初始嵌入矩阵；
在训练过程中，通过用户和物品id从嵌入矩阵查找对应的初始嵌入向量，用于后面的训练；
优选的，针对初始嵌入矩阵，为每个交互添加时序信息来增强其特征表示：
将时序信息转化为对应的嵌入向量，其中，时间信息被定义为历史交互与最新交互的时间间隔，将其转化为时间嵌入t，反应历史交互对当前状态的实际影响；
顺序信息被定义为历史交互在交互序列中的位置，将其转化为位置嵌入p，反应各个交互在交互序列中的不同作用。
8.基于增强图卷积的属性融合交互推荐***，其特征是，包括：
将用户和物品的高阶联通特征作为注意力参与物品评论集的学习，得到物品的评论特征表示；
基于增强图卷积的属性融合交互推荐模型将用户和物品的评论特征及用户和物品的高阶联通特征连接起来进行预测，得到下一时刻用户对物品的评论交互情况；
基于增强图卷积的属性融合交互推荐模型为权利要求6-7任一所述的模型。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-4任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-4任一所述的方法的步骤。
CN202210106409.6A 2022-01-28 2022-01-28 基于增强图卷积的属性融合交互推荐模型构建方法及*** Pending CN114676315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106409.6A CN114676315A (zh) 2022-01-28 2022-01-28 基于增强图卷积的属性融合交互推荐模型构建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106409.6A CN114676315A (zh) 2022-01-28 2022-01-28 基于增强图卷积的属性融合交互推荐模型构建方法及***

Publications (1)

Publication Number Publication Date
CN114676315A true CN114676315A (zh) 2022-06-28

Family

ID=82071602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106409.6A Pending CN114676315A (zh) 2022-01-28 2022-01-28 基于增强图卷积的属性融合交互推荐模型构建方法及***

Country Status (1)

Country Link
CN (1) CN114676315A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及***
CN116932887A (zh) * 2023-06-07 2023-10-24 哈尔滨工业大学（威海） 一种基于多模态图卷积的影像推荐***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932887A (zh) * 2023-06-07 2023-10-24 哈尔滨工业大学（威海） 一种基于多模态图卷积的影像推荐***及方法
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及***
CN116542720B (zh) * 2023-07-05 2023-09-19 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及***

Similar Documents

Publication Publication Date Title
Liu et al. Contextualized graph attention network for recommendation with item knowledge graph
CN112214685B (zh) 一种基于知识图谱的个性化推荐方法
CN107330115B (zh) 一种信息推荐方法及装置
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN107341145B (zh) 一种基于深度学习的用户情感分析方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN111222332A (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN112633010A (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及***
CN112364976A (zh) 基于会话推荐***的用户偏好预测方法
CN112650929B (zh) 一种融入评论信息的图神经网络推荐方法
CN114676315A (zh) 基于增强图卷积的属性融合交互推荐模型构建方法及***
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN109584006B (zh) 一种基于深度匹配模型的跨平台商品匹配方法
CN114265986B (zh) 一种融合知识图谱结构与路径语义的信息推送方法和***
CN115270007B (zh) 一种基于混合图神经网络的poi推荐方法及***
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN109684548B (zh) 一种基于用户图谱的数据推荐方法
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
CN113918832A (zh) 基于社交关系的图卷积协同过滤推荐***
CN112632296B (zh) 基于知识图谱具有可解释性的论文推荐方法及***、终端
CN115618101A (zh) 基于负反馈的流媒体内容推荐方法、装置及电子设备
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及***
CN111090765B (zh) 一种基于缺失多模态哈希的社交图像检索方法及***
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN112257959A (zh) 用户风险预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination