CN115409579A - 一种基于元学习的响应式推荐方法、***及设备 - Google Patents
一种基于元学习的响应式推荐方法、***及设备 Download PDFInfo
- Publication number
- CN115409579A CN115409579A CN202211072658.4A CN202211072658A CN115409579A CN 115409579 A CN115409579 A CN 115409579A CN 202211072658 A CN202211072658 A CN 202211072658A CN 115409579 A CN115409579 A CN 115409579A
- Authority
- CN
- China
- Prior art keywords
- user
- commodity
- embedded representation
- learning
- meta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 53
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000010923 batch production Methods 0.000 claims 1
- 239000002184 metal Substances 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 12
- 230000004043 responsiveness Effects 0.000 abstract description 8
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于元学习的响应式推荐方法、***及设备,方法包括:构建基于元学习的响应式推荐模型,基于元学习的响应式推荐模型包括异构信息网络的元学习器和ID嵌入表示生成器;利用获取的数据,对基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数;获取待推荐用户的用户‑商品历史评分数据,并基于评分数据、训练完成的推荐模型以及模型优化参数,获得目标推荐商品并推荐给用户。本发明采用基于元学习的响应式推荐方法,引入元学习和ID嵌入表示生成器,从而从根源上解决了现有的老用户兴趣变化的响应性问题以及新用户和新商品的初始响应问题,导致推荐准确性低、用户满意度低的问题。
Description
技术领域
本发明属于个性化推荐领域,具体涉及一种基于元学习的响应式推荐方法、***及设备。
背景技术
推荐***旨在帮助用户寻找其感兴趣的事物,正被应用到越来越多的互联网服务中。推荐任务通常可形式化为评分预测任务,即预测用户对候选商品的评分。一个优秀的推荐***能够根据老用户少量的最新交互信息及时响应老用户的兴趣变化,也能快速捕捉新用户的兴趣以更好地满足新用户的需求。协同过滤(Collaborative Filtering,CF)通过分析用户和商品的历史交互记录(例如评分数据),挖掘用户和商品的个性化信息(例如用户的偏好、商品的质量等),然后为用户进行精准的个性化推荐服务。但是存在无法及时有效地捕捉到老用户兴趣的变化和新用户以及上架新商品初始响应等问题。
然而,现有的推荐方法存在无法及时有效地捕捉到老用户兴趣的变化和新用户以及上架新商品初始响应等问题,商品推荐准确性不高、用户满意度低的问题。
因此,如何解决老用户兴趣变化的响应性问题以及新用户和新商品的初始响应问题,提高商品推荐方法的准确性,提升用户满意度,是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种基于元学习的响应式推荐方法、***及设备。本发明基于元学习的响应式推荐方法,引入了基于优化的元学习方法,以及引入的ID嵌入表示生成器通过神经网络将用户和商品的属性信息作为输入为新用户和商品生成较好地初始嵌入表示,从而从根源上解决了现有的老用户兴趣变化的响应性问题以及新用户和新商品的初始响应问题,导致推荐准确性低、用户满意度低的问题。
为了实现以上目的,本发明采用以下技术方案:
一种基于元学习的响应式推荐方法,具体包括如下步骤:
S1、构建基于元学习的响应式推荐模型;所述基于元学习的响应式推荐模型包括异构信息网络的元学习器和ID嵌入表示生成器,所述异构信息网络的元学习器包括用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层、评分预测器;
其中,为用户u的基础嵌入表示,通过用户ID从嵌入矩阵中查找获得;fU(·)是一个映射函数,为多层感知机MLP,它将用户u的multi-hot形式的属性向量映射到与相同的空间,得到用户的属性嵌入表示;所述属性向量包括用户年龄、性别;为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;α与β分别为和的系数,决定了它们在中的重要性;
其中,ωu是hu的权重,子嵌入表示hu可通过聚合其邻居节点的嵌入表示得到:
其中,为商品i的基础嵌入表示,通过商品ID从嵌入矩阵中查找获得;fI(·)是一个映射函数,为多层感知机MLP,它将商品i的multi-hot形式的属性向量映射到与相同的空间,得到商品的属性嵌入表示;所述属性向量包括商品价格、类别;Wi I为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;λ与θ分别为和的系数,决定了它们在中的重要性;
其中,ωi是hi的权重,子嵌入表示hi可通过聚合其邻居节点的嵌入表示得到:
所述嵌入表示连接层,将所述用户嵌入表示模块得到的用户嵌入表示和所述商品嵌入表示模块得到的商品嵌入表示进行拼接,得到最终的嵌入表示;
S2、利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数κ1,κ2,κ3;
S21、获取所有用户的用户-商品历史评分数据R={(u,i,ru,i)},将R按用户划分为多个子集R1,R2,...,Rm,并对模型参数进行初始化;
最后,更新κ得到特定于任务Tu的参数κ2,u:
全局更新,具体步骤包括:
首先,对于任务Tu,在步骤S24得到κ2,u后,在查询集上,基于用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层以及评分预测器,计算损失反映了任务内更新对Tu的适应效果,即先验知识κ2对Tu的适应能力;
其次,为泛化κ2适应任务的能力,全局更新在多个任务的损失上共同优化κ2,κ1,κ2的更新过程为:
其中,B为采样的一批用户,β表示全局更新的步长,κ1为嵌入表示模块参数;
最后,重复执行步骤S24中的局部更新以及步骤S25中的全局更新,直至收敛,得到优化后的参数κ1、κ2;
S26、对ID嵌入表示生成器进行训练
将ID嵌入表示生成器IDEG的参数记为κ3,在IDEG训练的过程中冻结步骤S25得到的优化后的κ1、κ2,只训练κ3,所述ID嵌入表示生成器是多层感知机;
对所述ID嵌入表示生成器进行训练,得到优化的参数κ3,具体步骤包括:
将***中的历史评分数据R、用户和商品的采样邻居用户和商品的属性向量xU、xI、局部更新学习率η1、全局更新学习率η3、的用户和商品嵌入模块参数κ1以及评分预测器参数κ2输入至所述ID嵌入表示生成器进行训练,输出所述ID嵌入表示生成器的优化参数κ3;
S3、获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户;
其中,所述训练完成的基于元学习的响应式推荐模型包括结合ID嵌入表示生成器的用户嵌入表示模块、结合ID嵌入表示生成器的商品嵌入表示模块和评分预测器,所述结合ID嵌入表示生成器的用户嵌入表示模块同时为新老用户生成用户嵌入表示;如果用户u为老用户,则其相应的ID嵌入表示和分别从和ΦU中查找获得,否则通过和gU(·)对属性嵌入表示进行转换而获得,其中和gU(·)分别为基础嵌入表示和子嵌入表示的IDEG,为用户u相关的输入信息,和ΦU分别为基础嵌入表示和子嵌入表示的嵌入矩阵,P*∈PU;
所述结合ID嵌入表示生成器的商品嵌入表示模块同时为新老商品生成商品嵌入表示;如果商品i为老商品,则其相应的ID嵌入表示和分别从和ΦI中查找获得,否则通过和gI(·)对属性嵌入表示进行转换而获得,其中和gI(·)分别为基础嵌入表示和子嵌入表示的IDEG,为商品i相关的输入信息,和ΦI分别为基础嵌入表示和子嵌入表示的嵌入矩阵;
步骤S3具体包括:
S33、对查询集先基于所述结合ID嵌入表示生成器的用户嵌入表示模块和结合ID嵌入表示生成器的商品嵌入表示模块生成对应的用户嵌入表示和商品嵌入表示,利用嵌入表示连接层生成最终的嵌入表示并输入至评分预测器,利用得到的κ2,u,并根据下式对查询集中的商品进行评分计算,得到用户对查询集中的商品的评分预测值,评分预测的过程可以表示为:
S34、根据所述评分预测值,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
进一步地,所述ID嵌入是指,在模型训练的过程中,每个用户和商品都对应了一个唯一的整数标识ID,ID需要被编码为向量的形式才能输入机器学习模型。
一种基于元学习的响应式推荐***,其特征在于,所述推荐***执行所述的基于元学习的响应式推荐方法,包括:推荐模型构建模块、推荐模型训练模块、商品推荐模块;
推荐模型构建模块,构建基于元学习的响应式推荐模型;
推荐模型训练模块,利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数;
商品推荐模块,获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
本发明还提出一种计算机设备,所述设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明公开的一种基于元学习的响应式推荐方法、***及设备。本发明基于元学习的响应式推荐方法,引入了基于优化的元学习方法,以及引入的ID嵌入表示生成器通过神经网络将用户和商品的属性信息作为输入为新用户和商品生成较好地初始嵌入表示,从而从根源上解决了现有的老用户兴趣变化的响应性问题以及新用户和新商品的初始响应问题,导致推荐准确性低、用户满意度低的问题。
与现有技术相比,具有如下有益效果:
1.本发明的基于元学习的响应式推荐方法,通过引入元学习,解决了老用户兴趣变化的响应性问题,提升了商品推荐的准确性。
2.本发明的基于元学习的响应式推荐方法,引入的ID嵌入表示生成器通过神经网络将用户和商品的属性信息作为输入为新用户和商品生成较好地初始嵌入表示,解决了新用户和新商品的初始响应问题;在保留用户和商品的历史个性化信息的同时,仅通过少量在线收集的数据感知用户最近兴趣,提升了商品推荐的准确性,进而提升了用户体验。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于元学习的响应式推荐方法示意图。
图2为本发明实施例提供的基于元学习的响应式推荐模型的框架图。
图3为本发明实施例提供的结合ID嵌入表示生成器的用户嵌入表示模块示意图。
图4为本发明实施例提供的新用户初始嵌入表示生成器示意图。
图5为本发明实施例提供的基于元学习的响应式推荐***示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
推荐***希望通过用户近期少量的交互而学习到其兴趣变化,这在一定程度上与元学习的目标类似,因此本发明利用元学习来解决用户兴趣变化的响应性问题,提出了基于元学习的响应式推荐方法,该方法引入元学习解决了老用户兴趣变化的响应性问题,设计了属性融合生成ID嵌入表示的神经网络解决了新用户和新商品的初始响应问题。本发明在保留用户和商品的历史个性化信息的同时,仅通过少量在线收集的数据感知用户最近兴趣。
元学习(Meta-learning,ML)旨在学习如何学习使得模型能够利用以往的知识来实现通过少量的训练样本及迭代次数就能适应于新的任务。假定有一批任务T,其概率分布p(T),元学习旨在找到最优的元知识ω*(也被称为先验知识):
本发明提出一种基于元学习的响应式推荐方法。如图1所示,基于元学习的响应式推荐方法包括以下步骤S1至S3。
S1、构建基于元学习的响应式推荐模型;所述基于元学习的响应式推荐模型包括异构信息网络的元学习器和ID嵌入表示生成器,所述异构信息网络的元学习器包括用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层、评分预测器。所述基于元学习的响应式推荐模型框架图如图2所示。
其中,为用户u的基础嵌入表示,通过用户ID从嵌入矩阵中查找获得;fU(·)是一个映射函数,为多层感知机MLP,它将用户u的multi-hot形式的属性向量映射到与相同的空间,得到用户的属性嵌入表示;所述属性向量包括用户年龄、性别;为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;α与β分别为和的系数,决定了它们在中的重要性;
其中,ωu是hu的权重,子嵌入表示hu可通过聚合其邻居节点的嵌入表示得到:
其中,为商品i的基础嵌入表示,通过商品ID从嵌入矩阵中查找获得;fI(·)是一个映射函数,为多层感知机MLP,它将商品i的multi-hot形式的属性向量映射到与相同的空间,得到商品的属性嵌入表示;所述属性向量包括商品价格、类别;Wi I为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;λ与θ分别为和的系数,决定了它们在中的重要性;
其中,ωi是hi的权重,子嵌入表示hi可通过聚合其邻居节点的嵌入表示得到:
具体地,所述用户属性包括性别、年龄、职业、邮政编码、地址、朋友关系、喜好等;所述商品包括书籍,书籍的属性包括书籍名称、出版年份、出版社、类型、作者、价格等。
所述嵌入表示连接层,将所述用户嵌入表示模块得到的用户嵌入表示和所述商品嵌入表示模块得到的商品嵌入表示进行拼接,得到最终的嵌入表示;
ID嵌入是指,在模型训练的过程中,每个用户和商品都对应了一个唯一的整数标识(identifier,ID),ID通常需要被编码为向量的形式才能输入机器学习模型。One-hot编码是将ID编码为稀疏二进制向量的基本工具。对于第u个用户,其one-hot编码除了第u个分量为1外,其余所有分量均为0。例如:
hu=φu TΦ,
hu=LookUp(u,Φ),
其中,LookUp(·,·)表示根据索引在矩阵中进行查找对应行或列的操作,矩阵Φ被称为嵌入矩阵或查找表,hu被称为用户u的ID嵌入表示。
每个ID嵌入表示都被某个用户或商品独享,对用户或商品的个性化特征具有较强的表达能力,对于提升预测效果具有重要作用。然而,新用户和商品在模型训练期间是不可见的,因此其ID嵌入表示无法得到训练,从而导致初始推荐效果差。一般来说,新用户和新商品的一些基本信息是可以获得的,例如用户的性别、年龄、地区和职业等。因此,需要设计参数共享的且能够利用属性为新用户和商品生成ID嵌入表示的函数。
为了解决这个问题,本发明设计了ID嵌入表示生成器(ID EmbeddingRepresentation Generator,IDEG)。IDEG的目标是为新的用户和商品生成合适的ID嵌入表示。
S2、利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数κ1,κ2,κ3。
对用户兴趣变化的响应性问题要求***能够根据某个用户最新的少量评分数据预测其对未留下交互记录的商品的评分,将利用用户的历史评分数据来构建相似的情景。
***中的所有用户-商品评分数据记为R={(u,i,ru,i)},其中用户u的所有评分数据记为首先将用户u的历史评分数据Ru划分为两部分:和其中中的数据用于模拟用户最近的评分数据,中的数据用于模拟待预测的数据。然后通过结合评分数据与其他辅助信息,为用户u构建能够作为输入的数据集合和具体步骤如下:
S21、获取所有用户的用户-商品历史评分数据R={(u,i,ru,i)},将R按用户划分为多个子集R1,R2,...,Rm,并对模型参数进行初始化。
具体地,对模型参数κ1,κ2进行初始化。
可以利用历史数据构建任务的集合T={T1,T2,...,Tn},其中n为用户的数量。
利用元学习的方法从这些任务中学习到能够快速适应新任务的先验知识,该过程被称为元训练。将元训练划分为步骤S24的局部更新和步骤S25的全局更新两个过程。元训练通过在上对Tu进行适应(即局部更新)以模拟根据用户u最近的交互数据学习其兴趣的过程,并在进行全局更新,优化先验知识。模型的参数记为κ=(κ1,κ2),其中κ1为嵌入表示模块参数(包括用户和商品嵌入表示模块),κ2为评分预测器参数。模型只将κ2作为先验知识,在局部更新过程中适应具体的任务,而κ1不会参与局部更新的过程。这样做主要有两个原因:1)用户和商品的嵌入表示在一定程度上包含了他们的历史个性化特征,如果在局部更新过程中更新κ1,容易使得这些历史的个性化特征被“忘掉”;2)κ1的参数数量会随着支持集样本数量的增加而增加,当样本数量很大时,会降低局部更新的效率,进而影响推荐的效率,而κ2的参数数量较少且固定,更新效率较高,且同样能反映用户兴趣的变化。
最后,更新κ得到特定于任务Tu的参数κ2,u:
全局更新,具体步骤包括:
首先,对于任务Tu,在步骤S24得到κ2,u后,在查询集上,基于用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层以及评分预测器,计算损失反映了任务内更新对Tu的适应效果,即先验知识κ2对Tu的适应能力;
其次,为泛化κ2适应任务的能力,全局更新在多个任务的损失上共同优化κ2,κ1,κ2的更新过程为:
其中,B为采样的一批用户,β表示全局更新的步长,κ1为嵌入表示模块参数;
最后,重复执行步骤S24中的局部更新以及步骤S25中的全局更新,直至收敛,得到优化后的参数κ1、κ2。通过元训练,κ1和κ2都得到了优化,其中κ2被作为任务共享的先验知识,能够通过任务内局部更新快速适应具体的任务。
其中,模型参数如表1所示,
其中,参数κ1包括嵌入表示模块中的de、α、β等参数,影响嵌入维度和表示权重。参数κ2包括η1、num_batch等。
S26、对ID嵌入表示生成器进行训练
将ID嵌入表示生成器IDEG的参数记为κ3,在IDEG训练的过程中冻结步骤S25得到的优化后的κ1、κ2,只训练κ3,所述ID嵌入表示生成器是多层感知机;
对所述ID嵌入表示生成器进行训练,得到优化的参数κ3,具体步骤包括:
将***中的历史评分数据R、用户和商品的采样邻居用户和商品的属性向量xU、xI、局部更新学习率η1、全局更新学习率η3、的用户和商品嵌入模块参数κ1以及评分预测器参数κ2输入至所述ID嵌入表示生成器进行训练,输出所述ID嵌入表示生成器的优化参数κ3。
在一实施例中,训练的数据集:Douban Book,它们除了用户-书籍评分数据之外,还包括了用户和书籍相关的辅助信息。Douban Book包含约65万个评分数据,2万本书和1万用户,用户属性包括地址、朋友关系等,书籍属性包括出版年份、出版社、类型、作者等信息,评分范围为1到5。
通过上述数据集训练得到优化参数κ3。
为了使IDEG生成的嵌入表示能够适应任务内更新的过程,因此保留了局部更新的过程。IDEG训练和元训练的区别主要在于两方面:一方面,前者为了模拟新用户和商品而采用附图3中虚线和点线箭头所示的路线为用户和商品生成嵌入表示,而后者采用的是实线和点线箭头所示的路线;另一方面,前者是在后者训练完成的基础上进行的训练,只对参数κ3进行更新。
经过元训练过程,用户和商品嵌入表示模块以及评分预测器的参数(κ1,κ2)都已经在大量的历史数据上得到了训练。本发明将IDEG的参数记为κ3,在IDEG训练的过程中冻结参数(κ1,κ2)而只训练κ3,从而减少额外的内存和计算的开销。
S3、获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户;
其中,所述训练完成的基于元学习的响应式推荐模型包括结合ID嵌入表示生成器的用户嵌入表示模块、结合ID嵌入表示生成器的商品嵌入表示模块和评分预测器,附图3所示为结合了ID嵌入表示生成器IDEG的用户嵌入表示模块,其中和gU(·)分别为基础嵌入表示和子嵌入表示的IDEG,为用户u相关的输入信息,和ΦU分别为基础嵌入表示和子嵌入表示的嵌入矩阵。如果用户u为老用户,则其相应的ID嵌入表示和分别从和ΦU中查找获得(图中实线箭头所示路径),否则通过和gU(·)对属性嵌入表示进行转换而获得(图中虚线箭头所示路径)。由于用户u在每个G(G∈GU)中的采样邻居都包括其自身,因此在每个G中,使用gU(·)为新用户生成ID嵌入表示,而其他邻居都从老用户中采样得到,因此仍从ΦU中查找获得嵌入表示。最终,老用户通过实线和点线箭头所示路径生成新用户通过虚线和点线箭头所示路径生成
所述结合ID嵌入表示生成器的商品嵌入表示模块同时为新老商品生成商品嵌入表示;如果商品i为老商品,则其相应的ID嵌入表示和分别从和ΦI中查找获得,否则通过和gI(·)对属性嵌入表示进行转换而获得,其中和gI(·)分别为基础嵌入表示和子嵌入表示的IDEG,为商品i相关的输入信息,和ΦI分别为基础嵌入表示和子嵌入表示的嵌入矩阵。
步骤S3具体包括:
经过上述的元学习和ID嵌入生成器就得到了模型参数κ1,κ2,κ3(其中κ2被当作全局先验知识)。模型利用ID嵌入生成器为***中第一次出现的新用户和新商品生成相应的ID嵌入表示,然后在元测试过程中,利用先验知识κ2学习到用户的兴趣。模型利用ID嵌入生成器为***中第一次出现的新用户和新商品生成相应的ID嵌入表示,然后在元测试过程中,利用先验知识κ2学习到用户的兴趣。
针对新用户或新商品,因为其相关ID嵌入表示处于随机初始化状态,所以利用ID嵌入表示生成器生成对应的ID嵌入表示。
S33、对查询集先基于所述结合ID嵌入表示生成器的用户嵌入表示模块和结合ID嵌入表示生成器的商品嵌入表示模块生成对应的用户嵌入表示和商品嵌入表示,利用嵌入表示连接层生成最终的嵌入表示并输入至评分预测器,利用得到的κ2,u,并根据下式对查询集中的商品进行评分计算,得到用户对查询集中的商品的评分预测值,评分预测的过程可以表示为:
S34、根据所述评分预测值,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
本发明提出了基于元学习的响应式推荐方法。为了解决对用户兴趣变化的响应性问题,本发明引入了基于优化的元学习方法。首先将根据某个用户最近的交互数据来预测其对未交互过商品的评分,将这一过程作为元学习中的任务;然后从用户和商品的历史交互数据中构建相似的任务;最后利用元学习的方法,从这些相似的任务中学习具有强泛化能力的先验知识,这样就可以在新的任务中,根据先验知识更好的学习用户的兴趣。为了解决新用户和新商品的初始响应问题,该方法在利用语义信息增强用户和商品嵌入表示的基础上,针对***中第一次出现的新用户和新商品设计了ID嵌入表示生成器。引入的ID嵌入表示生成器通过神经网络将用户和商品的属性信息作为输入为新用户和商品生成较好地初始嵌入表示,从而提高新用户和新商品的推荐效果。本发明可以实现在用户兴趣变化的响应性和新用户和新商品的情况下同样达到较高的预测准确率。通过本方法,可以预测推荐***中某个用户对不同商品的评分,然后根据评分对商品进行推荐,从而提高推荐***的准确性。
图5是本发明实施例提供的一种基于元学习的响应式推荐***。如图5所示,该基于元学习的响应式推荐***,包括:推荐模型构建模块、推荐模型训练模块、商品推荐模块;
推荐模型构建模块,构建基于元学习的响应式推荐模型;
推荐模型训练模块,利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数;
商品推荐模块,获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
上述基于元学习的响应式推荐***可以实现为一种计算机程序的形式,该计算机程序可以在计算机设备上运行。
该计算机设备可以是服务器,其中,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
计算机设备包括通过***总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
该非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行一种基于元学习的响应式推荐方法。
该处理器用于提供计算和控制能力,以支撑整个计算机设备的运行。
该内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行一种基于元学习的响应式推荐方法。
该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解,上述计算机设备结构仅仅是与本申请方案相关的部分结构,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,该程序实现实施例一所述的基于元学习的响应式推荐方法。
应当理解,在本申请实施例中,处理器可以是中央处理单元(Central ProcessingUnit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种基于元学习的响应式推荐方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (5)
1.一种基于元学习的响应式推荐方法,其特征在于,包括步骤:
S1、构建基于元学习的响应式推荐模型;所述基于元学习的响应式推荐模型包括异构信息网络的元学习器和ID嵌入表示生成器,所述异构信息网络的元学习器包括用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层、评分预测器;
其中,为用户u的基础嵌入表示,通过用户ID从嵌入矩阵中查找获得;fU(·)是一个映射函数,为多层感知机MLP,它将用户u的multi-hot形式的属性向量映射到与相同的空间,得到用户的属性嵌入表示;所述属性向量包括用户年龄、性别;为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;α与β分别为和的系数,决定了它们在中的重要性;
其中,ωu是hu的权重,子嵌入表示hu可通过聚合其邻居节点的嵌入表示得到:
其中,为商品i的基础嵌入表示,通过商品ID从嵌入矩阵中查找获得;fI(·)是一个映射函数,为多层感知机MLP,它将商品i的multi-hot形式的属性向量映射到与相同的空间,得到商品的属性嵌入表示;所述属性向量包括商品价格、类别;为可训练的权重矩阵,将语义嵌入表示转换到与相同的空间;λ与θ分别为和的系数,决定了它们在中的重要性;
其中,ωi是hi的权重,子嵌入表示hi可通过聚合其邻居节点的嵌入表示得到:
所述嵌入表示连接层,将所述用户嵌入表示模块得到的用户嵌入表示和所述商品嵌入表示模块得到的商品嵌入表示进行拼接,得到最终的嵌入表示;
S2、利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数κ1,κ2,κ3;
S21、获取所有用户的用户-商品历史评分数据R={(u,i,ru,i)},将R按用户划分为多个子集R1,R2,...,Rm,并对模型参数进行初始化;
最后,更新κ得到特定于任务Tu的参数κ2,u:
全局更新,具体步骤包括:
首先,对于任务Tu,在步骤S24得到κ2,u后,在查询集上,基于用户嵌入表示模块、商品嵌入表示模块、嵌入表示连接层以及评分预测器,计算损失反映了任务内更新对Tu的适应效果,即先验知识κ2对Tu的适应能力;
其次,为泛化κ2适应任务的能力,全局更新在多个任务的损失上共同优化κ2,κ1,κ2的更新过程为:
其中,B为采样的一批用户,β表示全局更新的步长,κ1为嵌入表示模块参数;
最后,重复执行步骤S24中的局部更新以及步骤S25中的全局更新,直至收敛,得到优化后的参数κ1、κ2;
S26、对ID嵌入表示生成器进行训练
将ID嵌入表示生成器IDEG的参数记为κ3,在IDEG训练的过程中冻结步骤S25得到的优化后的κ1、κ2,只训练κ3,所述ID嵌入表示生成器是多层感知机;
对所述ID嵌入表示生成器进行训练,得到优化的参数κ3,具体步骤包括:
将***中的历史评分数据R、用户和商品的采样邻居用户和商品的属性向量xU、xI、局部更新学习率η1、全局更新学习率η3、的用户和商品嵌入模块参数κ1以及评分预测器参数κ2输入至所述ID嵌入表示生成器进行训练,输出所述ID嵌入表示生成器的优化参数κ3;
S3、获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户;
其中,所述训练完成的基于元学习的响应式推荐模型包括结合ID嵌入表示生成器的用户嵌入表示模块、结合ID嵌入表示生成器的商品嵌入表示模块和评分预测器,所述结合ID嵌入表示生成器的用户嵌入表示模块同时为新老用户生成用户嵌入表示;如果用户u为老用户,则其相应的ID嵌入表示和分别从和ΦU中查找获得,否则通过和gU(·)对属性嵌入表示进行转换而获得,其中和gU(·)分别为基础嵌入表示和子嵌入表示的IDEG,为用户u相关的输入信息,和ΦU分别为基础嵌入表示和子嵌入表示的嵌入矩阵,P*∈PU;
所述结合ID嵌入表示生成器的商品嵌入表示模块同时为新老商品生成商品嵌入表示;如果商品i为老商品,则其相应的ID嵌入表示和分别从和ΦI中查找获得,否则通过和gI(·)对属性嵌入表示进行转换而获得,其中和gI(·)分别为基础嵌入表示和子嵌入表示的IDEG,为商品i相关的输入信息,和ΦI分别为基础嵌入表示和子嵌入表示的嵌入矩阵;
步骤S3具体包括:
S33、对查询集先基于所述结合ID嵌入表示生成器的用户嵌入表示模块和结合ID嵌入表示生成器的商品嵌入表示模块生成对应的用户嵌入表示和商品嵌入表示,利用嵌入表示连接层生成最终的嵌入表示并输入至评分预测器,利用得到的κ2,u,并根据下式对查询集中的商品进行评分计算,得到用户对查询集中的商品的评分预测值,评分预测的过程可以表示为:
S34、根据所述评分预测值,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
3.根据权利要求1所述的方法,其特征在于,所述ID嵌入是指,在模型训练的过程中,每个用户和商品都对应了一个唯一的整数标识ID,ID需要被编码为向量的形式才能输入机器学习模型。
4.一种基于元学习的响应式推荐***,其特征在于,所述推荐***执行如权利要求1所述的基于元学习的响应式推荐方法,包括:推荐模型构建模块、推荐模型训练模块、商品推荐模块;
推荐模型构建模块,构建基于元学习的响应式推荐模型;
推荐模型训练模块,利用获取的数据,对所述基于元学习的响应式推荐模型进行训练,得到训练完成的基于元学习的响应式推荐模型以及模型优化参数;
商品推荐模块,获取待推荐用户的用户-商品历史评分数据,并基于所述待推荐用户的用户-商品历史评分数据、所述训练完成的基于元学习的响应式推荐模型以及模型优化参数,获得目标推荐商品,并将所述目标推荐商品推荐给用户。
5.一种计算机设备,其特征在于,所述设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211072658.4A CN115409579A (zh) | 2022-09-02 | 2022-09-02 | 一种基于元学习的响应式推荐方法、***及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211072658.4A CN115409579A (zh) | 2022-09-02 | 2022-09-02 | 一种基于元学习的响应式推荐方法、***及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115409579A true CN115409579A (zh) | 2022-11-29 |
Family
ID=84164707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211072658.4A Pending CN115409579A (zh) | 2022-09-02 | 2022-09-02 | 一种基于元学习的响应式推荐方法、***及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115409579A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116246749A (zh) * | 2023-05-11 | 2023-06-09 | 西南医科大学附属医院 | 集成电子病历的内分泌病人个性化健康管理*** |
-
2022
- 2022-09-02 CN CN202211072658.4A patent/CN115409579A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116246749A (zh) * | 2023-05-11 | 2023-06-09 | 西南医科大学附属医院 | 集成电子病历的内分泌病人个性化健康管理*** |
CN116246749B (zh) * | 2023-05-11 | 2023-07-21 | 西南医科大学附属医院 | 集成电子病历的内分泌病人个性化健康管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11734717B2 (en) | Dynamic predictive similarity grouping based on vectorization of merchant data | |
CN111061946B (zh) | 场景化内容推荐方法、装置、电子设备及存储介质 | |
CN111966914B (zh) | 基于人工智能的内容推荐方法、装置和计算机设备 | |
US11663661B2 (en) | Apparatus and method for training a similarity model used to predict similarity between items | |
US11636394B2 (en) | Differentiable user-item co-clustering | |
CN113722583A (zh) | 推荐方法、推荐模型训练方法及相关产品 | |
WO2024041483A1 (zh) | 一种推荐方法及相关装置 | |
WO2023185925A1 (zh) | 一种数据处理方法及相关装置 | |
CN115409579A (zh) | 一种基于元学习的响应式推荐方法、***及设备 | |
Li et al. | Tell me where to go next: Improving poi recommendation via conversation | |
Nazari et al. | Scalable and data-independent multi-agent recommender system using social networks analysis | |
CN115080856A (zh) | 推荐方法及装置、推荐模型的训练方法及装置 | |
CN112749332B (zh) | 数据处理方法、装置以及计算机可读介质 | |
Abdaoui et al. | Creating a Personalized Recommendation Framework in Smart Shopping by Using IoT Devices | |
Sridhar et al. | Extending Deep Neural Categorisation Models for Recommendations by Applying Gradient Based Learning | |
CN113379482B (zh) | 一种物品推荐方法、计算设备以及存储介质 | |
CN116932893B (zh) | 一种基于图卷积网络的序列推荐方法、***、设备及介质 | |
Kochhar | Adding Personal Touches to IoT: A User‐Centric IoT Architecture | |
Abdaoui et al. | Personalized Recommendation: A novel approach based on Hybrid methods and fog computing architecture | |
Zou et al. | Feature Norm-Based Deep Network for Multi-Domain Fashion Image Retrieval | |
Saravanan et al. | A Novel K Means Biclustering Fusion Based Collaborative Recommender System | |
Boudaa et al. | Graph Neural Networks for Session-based Recommender Systems: A Brief Review. | |
Xu et al. | Hierarchical Multimodal Graph Learning for Outfit Compatibility Modelling | |
Alqhatani et al. | IoT-Driven Hybrid Deep Collaborative Transformer with Federated Learning for Personalized E-Commerce Recommendations: An Optimized Approach | |
Domián | CTR Optimisation for CPC Ad Campaigns Using Hybrid Recommendation System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |