CN116091152A - 基于多层次对比学习与多模态知识图谱的推荐方法及*** - Google Patents

基于多层次对比学习与多模态知识图谱的推荐方法及*** Download PDF

Info

Publication number
CN116091152A
CN116091152A CN202211224122.XA CN202211224122A CN116091152A CN 116091152 A CN116091152 A CN 116091152A CN 202211224122 A CN202211224122 A CN 202211224122A CN 116091152 A CN116091152 A CN 116091152A
Authority
CN
China
Prior art keywords
learning
loss function
user
modal
preference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211224122.XA
Other languages
English (en)
Inventor
张金金
华翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202211224122.XA priority Critical patent/CN116091152A/zh
Publication of CN116091152A publication Critical patent/CN116091152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多层次对比学***台的个性化推荐效果。

Description

基于多层次对比学习与多模态知识图谱的推荐方法及***
技术领域
本发明涉及个性化推荐技术领域，具体而言，涉及一种基于多层次对比学习与多模态知识图谱的推荐方法及***。
背景技术
面向盛行的大数据平台，推荐***已成为各大电商平台中必不可少的服务功能，其中基于序列模式的序列化推荐算法以挖掘用户交互行为所隐藏的潜在兴趣多年来受到广泛关注。传统的序列化推荐算法根据用户的历史交互行为构建用户的偏好表示，然而该特征信息的单一性及稀疏性给推荐结果带来了较大的局限性。
为了缓解以上问题，现有推荐算法借助于引入辅助信息的方式用于增强用户与物品的表示能力。近年来，知识图谱因采用图结构的方式构建实体间的关系，让原本本身没有直接关联关系的物品通过多跳中间实体构建了新的联系，因此具有蕴含推荐物品间深层关系的能力。目前结合知识图谱的推荐方法成为了该领域的研究热点，与传统的推荐算法相比，基于知识图谱的推荐算法在整体性能上更优。然而，传统知识图谱忽略了网络中物品的多元化信息，即物品特征的多模态性，导致所生成的物品表示仍然不足以对物品特征进行完整性的表达。得益于知识图谱在推荐***中的发展，将结合多模态数据与知识图谱的特征引入到推荐***领域得到了研究者们的关注，但目前该方向的研究工作在复用传统知识图谱学习的基础上，仅通过简单的聚合策略对多模态特征进行聚合以构建知识图谱中实体的嵌入表示，一方面未对多模态特征的复杂性(冗余性和贡献性)进行深入探究，不利于将多模态信息很好的利用起来；另一方面所面对有限长的用户-物品交互序列，受限于数据的稀疏性，现有方法仍然无法很好的生成准确的用户偏好表示，进行影响个性化推荐结果的准确性。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于多层次对比学***台的个性化推荐效果。
本发明的实施例是这样实现的：
第一方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法，包括以下步骤：
根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，进而得到适用于用户偏好的推荐结果。
为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本发明一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。
基于第一方面，在本发明的一些实施例中，上述根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱的方法包括以下步骤：
根据预先给定的用户-物品交互数据和多模态知识图谱构建构建知识图谱中的三元组和协同多模态知识图谱；
按照由多模态特征学习到实体表示学习，实体表示学习到节点表示学习，节点表示学习到用户偏好学习的层次化特征进行建模。
基于第一方面，在本发明的一些实施例中，上述针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数的方法包括以下步骤：
针对给定的多模态知识图谱，采用对应的模态编码器挖掘各个模态特征的语义信息，以生成各个模态特征的实体向量表示；
根据各个模态特征的实体向量表示建立模态对比学习损失函数。
基于第一方面，在本发明的一些实施例中，上述针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数的方法包括以下步骤：
基于协同多模态知识图谱及实体向量表示，根据三元组中的实体间关系将协同多模态知识图谱中的节点结构图划分为两个子图；
分别利用邻居节点聚合器和属性特征聚合器对两个子图中的节点的表征学习，得到节点一类向量表示和节点二类向量表示；
根据节点一类向量表示和节点二类向量表示建立关系对比学习损失函数。
基于第一方面，在本发明的一些实施例中，上述针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数的方法包括以下步骤：
根据用户-物品交互序列和节点向量表示，利用随机掩盖和随机游走的方法对网络中与用户相关的图数据进行增强，生成对应的用户实体结构；
将各个用户实体结构分别输入至汇聚编码器，以生成两种类型的用户偏好表示；
根据两种类型的用户偏好表示建立偏好对比学习损失函数。
基于第一方面，在本发明的一些实施例中，上述根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果的方法包括以下步骤：
根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数构建目标损失函数，并进行参数优化，以得到最优损失函数；
基于最优损失函数计算并根据用户偏好与各个候选物品之间的相似性关系确定推荐物品，生成为当前用户的推荐物品列表。
第二方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐***，包括：图谱构建模块、模态损失建立模块、关系损失建立模块、偏好损失建立模块以及联合训练模块，其中：
图谱构建模块，用于根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
模态损失建立模块，用于针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
关系损失建立模块，用于针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
偏好损失建立模块，用于针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
联合训练模块，用于根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果。
为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本***通过图谱构建模块、模态损失建立模块、关系损失建立模块、偏好损失建立模块以及联合训练模块等多个模块的配合，一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法及***，一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种基于多层次对比学习与多模态知识图谱的推荐方法的流程图；
图2为本发明实施例一种基于多层次对比学习与多模态知识图谱的推荐方法的示意图；
图3为本发明实施例的结构示意图；
图4为本发明实施例一种基于多层次对比学习与多模态知识图谱的推荐***的原理框图；
图5为本发明实施例提供的一种电子设备的结构框图。
附图标记说明：100、图谱构建模块；200、模态损失建立模块；300、关系损失建立模块；400、偏好损失建立模块；500、联合训练模块；101、存储器；102、处理器；103、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例的描述中，“多个”代表至少2个。
实施例：
如图1-图3所示，第一方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐方法，包括以下步骤：
S1、根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
进一步地，包括：根据预先给定的用户-物品交互数据和多模态知识图谱构建构建知识图谱中的三元组和协同多模态知识图谱；按照由多模态特征学习到实体表示学习，实体表示学习到节点表示学习，节点表示学习到用户偏好学习的层次化特征进行建模。对多模态特征进行建模，包含：多模态特征学习到实体表示学习，实体表示学习到节点表示学习，节点表示学习到用户偏好学习过程所体现出来的层次化特征。
在本发明的一些实施例中，根据给定的用户-物品交互数据和多模态知识图谱构建交互序列和协同多模态知识图谱。假定用户集合和物品集合分别为和,其中U和V为集合中的某个具体用户和物品。序列化推荐中由用户-物品交互数据所产生的交互数据所组成的交互序列记为Vu＝{v1,v2,...,vk},其按照交互时间顺序由远及近排列。协同多模态知识图谱结合了用户-物品交互序列和多模态知识图谱，由于v1,v2,...,vk既可以出现在用户-物品交互数据中，又可以出现在多模态知识图谱中，因此可根据交互物品实现用户-物品交互数据与多模态知识图谱的结合。本发明利用三元组形式定义多模态知识图谱中的信息表示，具体为(ei,rij,ej)，其中ei和ej为知识图谱中的实体，rij为实体之间的关系。给定以上模型输入信息，模型的输出为预测下一时刻用户可能进行交互的物品。
S2、针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
进一步地，包括：针对给定的多模态知识图谱，采用对应的模态编码器挖掘各个模态特征的语义信息，以生成各个模态特征的实体向量表示；根据各个模态特征的实体向量表示建立模态对比学习损失函数。
在本发明的一些实施例中，面向多模态知识图谱，对知识图谱中的多模态特征引入模态对比学习技术，得到实体向量表示，建立模态对比学习损失。通过独热编码对各个模态特征进行初始嵌入表征，随后使用模态编码器对各个模态信息进行编码处理，以获取各个模态数据的语义信息供后续权重聚合器使用。在本发明中，各个实体的多模态信息包含视觉知识和文本知识，面对不同类型的模态数据使用不同的深度学习技术进行特征编码。一般来讲，视觉知识往往是实体特征的直观体现，为能提取图像中的语义信息，本发明将嵌入过后的图像信息输入到AlexNets网络，并将其最高层输出作为视觉知识的语义信息，以此生成实体一类向量表示。此外，与对应实体相连接的文本知识往往与实体信息高度相关，因此可从文本方面构建实体的向量表示。与视觉知识编码相类似，本发明使用深度学习技术对文本知识进行编码，从而挖掘其所蕴含的语义信息。由于文本知识的上下文之间具有明显的连续性和依赖性特点，本发明采用BERT-Whitening网络对文本知识进行向量化表达，以此生成实体二类向量表示。由于同一实体的视觉知识和文本知识是以不同形式对该实体的特征的进行描述，因此它们可作为彼此的监督信息，以使得两种类型的实体向量表示越相似。为此，本发明设计了模态对比学习以对齐该两种模态的向量表示，充分发挥二者之间的约束关系。模态对比学习旨在使同一实体一类向量表示和实体二类向量表示具有更强的相似性，而与其他实体的向量表示具有更强的可辨别性，因此根据相似性得分所构建的模态对比损失函数可表示为：
Figure BDA0003877076740000111
其中m,n为一个批处理中的实体，
Figure BDA0003877076740000112
和
Figure BDA0003877076740000113
分别代表相同实体的一类向量表示和二类向量表示，当j≠i时，
Figure BDA0003877076740000114
为负例实体二类向量表示。sim为相似度计算函数，其计算公式可表示为sim(a,b)＝(mTn)/(||m|||·|n||)。f(·)函数旨在将多模态向量表示统一到同一向量空间。模型通过最小化损失函数来进行训练，从而提高模态特征的表达能力。
S3、针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
进一步地，包括：基于协同多模态知识图谱及实体向量表示，根据三元组中的实体间关系将协同多模态知识图谱中的节点结构图划分为两个子图；分别利用邻居节点聚合器和属性特征聚合器对两个子图中的节点的表征学习，得到节点一类向量表示和节点二类向量表示；根据节点一类向量表示和节点二类向量表示建立关系对比学习损失函数。分别对两个子图进行学习采用邻居节点聚合器和属性特征聚合器进行节点的表征学习，举例来讲：想了解一个人(节点)，从他自己和他身边朋友特征去理解，其中他自己是一个子图，采用属性特征聚合器，知道了这个认识什么样的人(节点二类表示)；他朋友是一个子图，采用邻居节点聚合器，知道了这个认识什么样的人(节点一类表示)。
在本发明的一些实施例中，面向协同多模态知识图谱，基于多模态知识图谱表示学习主要以三元组关系和多模态信息融合方法进行学习，忽略节点关系间的复杂性。一般的，目标节点往往和其他节点以不同的关系相连接，根据多模态知识图谱中的三元组，可将其关联节点类型分为邻居节点和模态节点。为此，本发明分别将权重聚合器作用于邻居节点和模态节点对目标节点向量表示进行学习。在邻居节点中，由于不同邻居节点对于构建目标节点表示的贡献程度不一样，本发明利用节点注意力聚合编码器对邻居节点特征进行汇聚以生成节点一类向量表示，该计算过程可表示为：
Figure BDA0003877076740000121
Figure BDA0003877076740000131
其中Ni为协同多模态知识图谱中节点i的邻居节点集合，α(ei,ej)为节点i与节点j的注意力分数，其计算的是目标节点与其邻居节点之间的相关性程度，使得邻居节点在聚合过程中具有选择性，即让比较重要的邻居节点拥有比较高的权重，不重要的或者噪声节点有比较低的权重。然后按照注意力分数对邻居节点进行加权计算。为了防止信息聚合过程中造成自身节点的信息丢失，本发明同时添加了自环，即将节点自身的向量表示与邻居节点汇聚信息相加。在模态节点中，本发明利用拼接操作对模态节点向量表示进行聚合以生成节点二类向量表示，该计算过程可表示为：
Figure BDA0003877076740000132
其中||表示拼接操作，Wim为全连接层的参数。由于同一节点的邻居节点和模态节点均用于对目标节点特征进行表示，故两类聚合器所要表达的目标节点特征是一致的，本发明设计了关系对比学习技术，缩小这两类实体向量表达的差异性，从而达到提取出目标节点特征表达的目的。为此，关系对比学习的损失函数可表示为：
Figure BDA0003877076740000133
同样地，模型通过最小化损失函数来进行训练，从而提高目标节点特征的表达能力。
S4、针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
进一步地，包括：根据用户-物品交互序列和节点向量表示，利用随机掩盖和随机游走的方法对网络中与用户相关的图数据进行增强，生成对应的用户实体结构；将各个用户实体结构分别输入至汇聚编码器，以生成两种类型的用户偏好表示；根据两种类型的用户偏好表示建立偏好对比学习损失函数。采用随机掩盖方法生成一种用户实体结构，采用随机游走的方法生成另外一种用户实体结构，然后将两种用户实体结构分别输入至汇聚编码器，进而得到两种类型的用户偏好表示。
在本发明的一些实施例中，在偏好对比学***滑的问题，本发明首先采用随机掩盖方法进行数据增强，即根据随机生成的数字集合M，将序列中对应位置的交互物品进行掩盖mask填充操作，生成子序列，该过程可表示为：
Figure BDA0003877076740000141
Figure BDA0003877076740000142
由于用户与物品交互过程中可能会因外界的干扰或其他外界因素发生改变，为能减少序列化推荐中所学习的用户偏好表示对顺序的依赖性关系，同时增强用户偏好表示的健壮性，本发明采用打乱顺序的方式进行数据增强，生成子序列。该过程可表示为：
Figure BDA0003877076740000151
其中
Figure BDA0003877076740000152
为序列中打乱顺序的交互物品。其次，为获取两个子序列所表达的用户动态和静态偏好信息，将两个子序列分别输入至Transformer构建的序列编码器中，生成用户一类偏好表示和用户二类偏好表示。最后引入偏好对比损失函数用于判断用户向量表示是否来源于同一个交互序列源数据，在损失函数的构建中最小化相同子序列之间的差异性而最大化不同子序列之间的差异性，该过程可表示为：
Figure BDA0003877076740000153
其中
Figure BDA0003877076740000154
和
Figure BDA0003877076740000155
分别为用户一类偏好表示和用户二类偏好表示，其计算方式为
Figure BDA0003877076740000156
和
Figure BDA0003877076740000157
S5、根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，进而得到适用于用户偏好的推荐结果。上述预设的推荐损失函数是指预设的贝叶斯个性排序损失函数。
进一步地，包括：根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数构建目标损失函数，并进行参数优化，以得到最优损失函数；基于最优损失函数计算并根据用户偏好与各个候选物品之间的相似性关系确定推荐物品，生成为当前用户的推荐物品列表。最优损失函数构建好，即可进行模型训练。模型训练完后，模型中的参数即可确定，即模型构建完成。模型构建完成后，给模型输入用户-物品交互数据和多模态知识图谱，按照上述的方法流程即可计算出用户的偏好表示，然后用偏好表示与各个候选物品计算相似性，越相似的侯选物品就会最先给用户推荐。
在本发明的一些实施例中，基于多层次对比学习所生成的用户表示对模型进行训练。为使用多层次对比学习提升序列化推荐结果的质量，本发明采用多任务训练策略，通过线性权重聚合的方式结合模态对比学习损失、关系对比学习损失、偏好对比学习损失、以及推荐损失函数作为模型的最终损失函数进行参数优化，损失函数可表示为：
ltotal＝lrec+αlmodal+βlrelation+γlpreference
其中层次对比学习系数满足α+β+γ＝1，lrec为推荐损失函数，可通过以下公式进行构建：
Figure BDA0003877076740000161
其中Φ为模型的所有参数，
Figure BDA0003877076740000162
为用户u对物品i的评分，σ(·)为sigmoid激活函数。
为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本发明一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。
如图4所示，第二方面，本发明实施例提供一种基于多层次对比学习与多模态知识图谱的推荐***，包括：图谱构建模块100、模态损失建立模块200、关系损失建立模块300、偏好损失建立模块400以及联合训练模块500，其中：
图谱构建模块100，用于根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
模态损失建立模块200，用于针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
关系损失建立模块300，用于针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
偏好损失建立模块400，用于针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
联合训练模块500，用于根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果。
为了解决现有技术中序列化推荐中的稀疏性问题和多模态特征复杂性问题的问题，本***通过图谱构建模块100、模态损失建立模块200、关系损失建立模块300、偏好损失建立模块400以及联合训练模块500等多个模块的配合，一方面引入多模态知识图谱为用户-物品交互数据进行特征补充，另一方面设计了一种多层对比学习方法进行多角度的特征学习。使用多层对比学习和多模态知识图谱进行用户偏好建模的方式使得物品表示具有更强的完整性、用户兴趣表示具有更强的细粒度性，从而对用户进行物品推荐的能力更强。在实体表示层面上的模态对比学习，让相同实体的模态表示间更相似，而与其他实体的模态表示相似性变小。在节点表示层面上的关系对比学习，让相同节点在不同子图中的节点表示间更相似，而与其他子图的节点表示相似性变小。在用户偏好表示层面上的偏好对比学习，让同一用户的偏好表示间更相似，而与其他用户的偏好表示相似性变小。相比于现有的序列化推荐算法，本发明能够更有效地、准确地建模用户偏好特征，进而高质量的完成序列化推荐任务。
如图5所示，第三方面，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。
还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中，应该理解到，所揭露的方法及***和方法，也可以通过其它的方式实现。以上所描述的方法及***实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，包括以下步骤：
根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，进而得到适用于用户偏好的推荐结果。
2.根据权利要求1所述的一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，所述根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱的方法包括以下步骤：
根据预先给定的用户-物品交互数据和多模态知识图谱构建构建知识图谱中的三元组和协同多模态知识图谱；
按照由多模态特征学习到实体表示学习，实体表示学习到节点表示学习，节点表示学习到用户偏好学习的层次化特征进行建模。
3.根据权利要求1所述的一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，所述针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数的方法包括以下步骤：
针对给定的多模态知识图谱，采用对应的模态编码器挖掘各个模态特征的语义信息，以生成各个模态特征的实体向量表示；
根据各个模态特征的实体向量表示建立模态对比学习损失函数。
4.根据权利要求2所述的一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，所述针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数的方法包括以下步骤：
基于协同多模态知识图谱及实体向量表示，根据三元组中的实体间关系将协同多模态知识图谱中的节点结构图划分为两个子图；
分别利用邻居节点聚合器和属性特征聚合器对两个子图中的节点的表征学习，得到节点一类向量表示和节点二类向量表示；
根据节点一类向量表示和节点二类向量表示建立关系对比学习损失函数。
5.根据权利要求1所述的一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，所述针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数的方法包括以下步骤：
根据用户-物品交互序列和节点向量表示，利用随机掩盖和随机游走的方法对网络中与用户相关的图数据进行增强，生成对应的用户实体结构，生成对应的用户实体结构；
将各个用户实体结构分别输入至汇聚编码器，以生成两种类型的用户偏好表示；
根据两种类型的用户偏好表示建立偏好对比学习损失函数。
6.根据权利要求1所述的一种基于多层次对比学习与多模态知识图谱的推荐方法，其特征在于，所述根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果的方法包括以下步骤：
根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数构建目标损失函数，并进行参数优化，以得到最优损失函数；
基于最优损失函数计算并根据用户偏好与各个候选物品之间的相似性关系确定推荐物品，生成为当前用户的推荐物品列表。
7.一种基于多层次对比学习与多模态知识图谱的推荐***，其特征在于，包括：图谱构建模块、模态损失建立模块、关系损失建立模块、偏好损失建立模块以及联合训练模块，其中：
图谱构建模块，用于根据预先给定的用户-物品交互数据和多模态知识图谱构建用户-物品交互序列和协同多模态知识图谱；
模态损失建立模块，用于针对多模态知识图谱，利用模态对比学习技术根据知识图谱中的多模态特征进行学习，得到实体向量表示，建立模态对比学习损失函数；
关系损失建立模块，用于针对协同多模态知识图谱，利用关系对比学习技术根据多模态知识图谱中的实体进行学习，得到节点向量表示，建立关系对比学习损失函数；
偏好损失建立模块，用于针对用户-物品交互序列和协同多模态知识图谱，利用偏好对比学习技术根据用户-物品交互序列进行学习，得到用户偏好表示，建立偏好对比学习损失函数；
联合训练模块，用于根据模态对比学习损失函数、关系对比学习损失函数、偏好对比学习损失函数和预设的推荐损失函数进行模型训练和优化，最终得到适用于用户偏好的推荐结果。
8.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202211224122.XA 2022-10-07 2022-10-07 基于多层次对比学习与多模态知识图谱的推荐方法及*** Pending CN116091152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211224122.XA CN116091152A (zh) 2022-10-07 2022-10-07 基于多层次对比学习与多模态知识图谱的推荐方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211224122.XA CN116091152A (zh) 2022-10-07 2022-10-07 基于多层次对比学习与多模态知识图谱的推荐方法及***

Publications (1)

Publication Number Publication Date
CN116091152A true CN116091152A (zh) 2023-05-09

Family

ID=86203181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211224122.XA Pending CN116091152A (zh) 2022-10-07 2022-10-07 基于多层次对比学习与多模态知识图谱的推荐方法及***

Country Status (1)

Country Link
CN (1) CN116091152A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611896A (zh) * 2023-07-19 2023-08-18 山东省人工智能研究院 基于属性驱动解耦表征学习的多模态推荐方法
CN117520406A (zh) * 2023-12-29 2024-02-06 安徽思高智能科技有限公司 一种rpa流程推荐方法、设备及存储介质
CN117808089A (zh) * 2024-02-29 2024-04-02 山东大学 一种基于双空间信息聚合的知识图谱推荐方法及***
CN117972231A (zh) * 2024-04-01 2024-05-03 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611896A (zh) * 2023-07-19 2023-08-18 山东省人工智能研究院 基于属性驱动解耦表征学习的多模态推荐方法
CN116611896B (zh) * 2023-07-19 2023-10-24 山东省人工智能研究院 基于属性驱动解耦表征学习的多模态推荐方法
CN117520406A (zh) * 2023-12-29 2024-02-06 安徽思高智能科技有限公司 一种rpa流程推荐方法、设备及存储介质
CN117520406B (zh) * 2023-12-29 2024-03-26 安徽思高智能科技有限公司 一种rpa流程推荐方法、设备及存储介质
CN117808089A (zh) * 2024-02-29 2024-04-02 山东大学 一种基于双空间信息聚合的知识图谱推荐方法及***
CN117808089B (zh) * 2024-02-29 2024-06-11 山东大学 一种基于双空间信息聚合的知识图谱推荐方法及***
CN117972231A (zh) * 2024-04-01 2024-05-03 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备
CN117972231B (zh) * 2024-04-01 2024-06-11 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN111382309B (zh) 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN110188167B (zh) 一种融入外部知识的端到端对话方法及***
US10783361B2 (en) Predictive analysis of target behaviors utilizing RNN-based user embeddings
CN116091152A (zh) 基于多层次对比学习与多模态知识图谱的推荐方法及***
CN111881350B (zh) 一种基于混合图结构化建模的推荐方法与***
CN111522962A (zh) 序列推荐方法、装置及计算机可读存储介质
Pang et al. DeepCity: A feature learning framework for mining location check-ins
CN111932386B (zh) 用户账号确定方法及装置、信息推送方法及装置、电子设备
US20230316379A1 (en) Deep learning based visual compatibility prediction for bundle recommendations
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN109743196B (zh) 一种基于跨双层网络随机游走的网络表征方法
Shi et al. Network embedding via community based variational autoencoder
CN114357105A (zh) 地理预训练模型的预训练方法及模型微调方法
Figueiredo et al. struc2vec: Learning node representations from structural identity
CN116431914A (zh) 一种基于个性化偏好转移模型的跨域推荐方法及***
CN112667920A (zh) 基于文本感知的社交影响力预测方法、装置及设备
Mahyar et al. Centrality-based group formation in group recommender systems
Zhou et al. Learning to correlate accounts across online social networks: An embedding-based approach
CN117194806A (zh) 一种基于新闻传播过程的虚假新闻检测方法及相关装置
CN115599990A (zh) 一种知识感知结合深度强化学习的跨域推荐方法及***
CN114168804B (zh) 一种基于异质子图神经网络的相似信息检索方法和***
CN115545833A (zh) 一种基于用户社交信息的推荐方法及***
CN113239215B (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
CN114493674A (zh) 一种广告点击率预测模型及方法
KR20140115809A (ko) 예측 모형에 기초한 예측결과의 판단 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination