CN114510652A - 一种基于联邦学习的社交协同过滤推荐方法 - Google Patents

一种基于联邦学习的社交协同过滤推荐方法 Download PDF

Info

Publication number
CN114510652A
CN114510652A CN202210412917.7A CN202210412917A CN114510652A CN 114510652 A CN114510652 A CN 114510652A CN 202210412917 A CN202210412917 A CN 202210412917A CN 114510652 A CN114510652 A CN 114510652A
Authority
CN
China
Prior art keywords
user
article
gradient
vector
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210412917.7A
Other languages
English (en)
Other versions
CN114510652B (zh
Inventor
刘柏嵩
罗林泽
张雪垣
钦蒋承
张云冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202210412917.7A priority Critical patent/CN114510652B/zh
Publication of CN114510652A publication Critical patent/CN114510652A/zh
Application granted granted Critical
Publication of CN114510652B publication Critical patent/CN114510652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于联邦学习的社交协同过滤推荐方法，包括以下步骤：步骤1、由中央服务器选择参与本地训练的用户客户端；步骤2、在用户客户端上进行E轮本地训练，每轮本地训练过程中，分别通过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失函数；步骤3、完成E轮本地训练后，通过梯度保护模块，得到最终需要上传的梯度，并将其上传至中央服务器进行梯度聚合；步骤4、重复步骤1至步骤3，得到充分训练后的用户嵌入向量和物品嵌入向量；步骤5、将用户嵌入向量和物品嵌入向量作为评分预测模块的输入，得到对用户推荐的物品序列。本发明能够有效缓解联邦社交推荐中的数据非独立同分布问题对模型推荐性能的影响。

Description

一种基于联邦学习的社交协同过滤推荐方法
技术领域
本发明涉及人工智能交互技术领域，特别是一种基于联邦学习的社交协同过滤推荐方法。
背景技术
推荐***作为一种数据驱动的应用，通常来说，通过收集用户的个人信息、交互记录（浏览、评分等）来集中式地训练推荐模型，捕获用户的兴趣偏好，从而对用户产生推荐。然而，集中式地存储这些用户信息，存在巨大的隐私安全问题。
随着诸如GDPR之类的保护隐私安全的法案的提出，推荐***中的隐私保护问题成为了一个重点研究的问题。联邦学***均潜在向量的相似度的社交正则项，来利用社交信息缓解冷启动问题和提高推荐模型的性能。FedGNN、FeSoG是近期关于联邦社交推荐的研究，它们利用GNN来同时提取用户和物品、用户和用户之间的信息。然而，它们并没有关注数据非独立同分布对联邦推荐模型带来的影响，这会导致联邦社交推荐***的性能严重下降。因为用户本地模型更新的方向可能与全局模型更新的方向存在差异，导致模型参数聚合的结果与全局最优的结果产生偏差。
综上所述，尽管当前的联邦社交推荐方法可以解决在用户隐私安全方面的问题和新用户的冷启动问题，但是忽视了数据非独立同分布问题对模型性能的影响。
发明内容
本发明的目的在于，提供一种基于联邦学习的社交协同过滤推荐方法。本发明能够在解决用户隐私安全方面的问题和新用户冷启动问题的基础上，还能有效缓解联邦社交推荐中的数据非独立同分布问题对模型推荐性能的影响。
本发明的技术方案：一种基于联邦学习的社交协同过滤推荐方法，包括以下步骤：
步骤1、由中央服务器选择参与本地训练的用户客户端，并将物品嵌入向量和对应的用户嵌入向量分发到所述用户客户端；
步骤2、在用户客户端上进行E轮本地训练，每轮本地训练过程中，分别通过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失函数；
步骤3、完成E轮本地训练后，通过梯度保护模块，得到最终需要上传的梯度，并将其上传至中央服务器进行梯度聚合，随后对物品嵌入向量进行更新，完成一个完整的通讯轮次；
步骤4、重复步骤1至步骤3，直至完成预定个数的通讯轮次，得到充分训练后的用户嵌入向量和物品嵌入向量；
步骤5、将步骤4得到的用户嵌入向量和物品嵌入向量作为评分预测模块的输入，得到对用户推荐的物品序列。
前述的一种基于联邦学习的社交协同过滤推荐方法中，所述矩阵分解模块中，将第t个通讯轮次中，用户客户端接收到的用户嵌入向量和物品嵌入向量作为输入，计算得到矩阵分解损失为：
Figure 178640DEST_PATH_IMAGE001
，
其中，
Figure 100002_DEST_PATH_IMAGE002
表示用户i对物品j的历史评分，
Figure 980374DEST_PATH_IMAGE003
表示第t个通讯轮次时用户i的嵌入向量，
Figure 100002_DEST_PATH_IMAGE004
表示第t个通讯轮次时物品j的嵌入向量。
前述的一种基于联邦学习的社交协同过滤推荐方法中，所述用户对比模块中，当用户i的社交信任用户集合为
Figure 998008DEST_PATH_IMAGE005
，随机选择的陌生用户集合为
Figure 100002_DEST_PATH_IMAGE006
，则计算得到用户对比损失为：
Figure 961416DEST_PATH_IMAGE007
，
其中，sim()为点积相似度函数，用向量间的点积结果表示向量间的相似度，同时考虑了向量在模和方向上的相似性，
Figure 100002_DEST_PATH_IMAGE008
为对用户相似度缩放的温度超参数。
前述的一种基于联邦学习的社交协同过滤推荐方法中，所述物品对比模块中，将当前通讯轮次的物品嵌入向量与中央服务器分发的物品嵌入向量作为一组正对，将当前通讯轮次的物品嵌入向量与上一个通讯轮次的物品嵌入向量作为一个负对，计算得到物品对比损失为：
Figure 634974DEST_PATH_IMAGE009
，
其中，对于用户客户端i，
Figure 100002_DEST_PATH_IMAGE010
，
Figure 240399DEST_PATH_IMAGE011
，
Figure 100002_DEST_PATH_IMAGE012
分别表示第t个通讯轮次的本地物品嵌入向量，第t个通讯轮次的全局物品嵌入向量和第t-1个通讯轮次的本地物品嵌入向量，sim()为点积相似度函数，
Figure 315802DEST_PATH_IMAGE013
为对物品相似度缩放的温度超参数。
前述的一种基于联邦学习的社交协同过滤推荐方法中，模型最终的损失函数为：
Figure 100002_DEST_PATH_IMAGE014
，
其中，
Figure 981270DEST_PATH_IMAGE015
和
Figure 100002_DEST_PATH_IMAGE016
分别为控制用户和物品对比损失的超参数。
前述的一种基于联邦学习的社交协同过滤推荐方法中，考虑到恶意攻击者可以通过梯度信息来推理出用户的原始数据信息，因此需要对梯度上传阶段的梯度进行保护，本地差分隐私技术作为一种轻量且严谨的数据扰动方式，能在保护梯度的同时，减少计算性能的开销，适用于需要经过多个通讯轮次训练的联邦场景，因此，步骤3在梯度保护模块中，可对梯度加上一个符合拉普拉斯噪声的扰动：
Figure 142124DEST_PATH_IMAGE017
，
其中，对于第i个用户客户端，
Figure 100002_DEST_PATH_IMAGE018
为扰动后的梯度，
Figure 14222DEST_PATH_IMAGE019
为扰动前的原始梯度，
Figure 100002_DEST_PATH_IMAGE020
为满足
Figure 475290DEST_PATH_IMAGE021
-差分隐私的一个噪声，
Figure 100002_DEST_PATH_IMAGE022
为差分隐私的敏感度，
Figure 108397DEST_PATH_IMAGE023
为差分隐私的隐私预算。
前述的一种基于联邦学习的社交协同过滤推荐方法中，得到扰动后的梯度
Figure 818864DEST_PATH_IMAGE018
后，对于不同用户客户端，由于训练样本数量上的差异，训练样本较多的客户端相对于训练样本较少的客户端，训练得到的结果相对更为准确，因此利用FedAvg方法对梯度进行聚合，利用训练样本数量对梯度进行加权处理：
Figure 100002_DEST_PATH_IMAGE024
，
Figure 31671DEST_PATH_IMAGE025
，
其中，S为第t个通讯轮次中选择参与训练的用户客户端集合，
Figure 100002_DEST_PATH_IMAGE026
表示用户客户端i中拥有的训练样本数量。
与现有技术相比，本发明的有益效果体现在：本发明通过多个通讯轮次来对模型进行训练，每一个通讯轮次初始时，由中央服务器选定部分用户客户端参与当前通讯轮次的训练，并将用户嵌入向量和物品嵌入向量发送到被选中的用户客户端上，并在用户客户端上开始E轮本地训练，整个训练过程保证用户的原始数据始终留在用户客户端，而不会上传至中央服务器，相比传统的社交推荐，从根本上解决了用户隐私泄漏的问题。
在本地训练过程中，需要分别通过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失函数。其中，通过用户对比模块，可以拉近用户嵌入向量与其社交好友的嵌入向量在特征空间上的距离，并增大其与陌生用户嵌入向量的距离，在学习用户的个性时又能兼顾其与社交好友的共性；基于全局数据训练的效果会优于基于每个用户客户端训练的结果，相对本地训练的结果而言，全局训练的结果可以当作一个很好的参照，本发明物品对比模块的本地训练结果会尽可能的向全局训练结果接近，同时，为了尽快达到模型收敛，本发明物品对比模块当前通讯轮次的本地训练结果会尽可能的远离上一个通讯轮次的本地训练结果。
本发明最终训练后的模型能有效缓解联邦社交推荐中的数据非独立同分布问题对模型推荐性能的影响。
附图说明
图1是本发明提供的一种基于联邦学习的社交协同过滤推荐方法的***架构图；
图2是本发明提供的一种基于联邦学习的社交协同过滤推荐方法的实例流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：一种基于联邦学习的社交协同过滤推荐方法，***架构和实例流程可分别参考图1和图2，包括以下步骤：
步骤1、由中央服务器选择参与本地训练的用户客户端，并将物品嵌入向量和对应的用户嵌入向量分发到所述用户客户端。
对于每一个通讯轮次初始时，中央服务器随机选择k个用户客户端参与当前通讯轮次的训练，并将用户嵌入向量和全局物品嵌入向量发送到对应的k个用户客户端。
步骤2、在用户客户端上进行E轮本地训练，每轮本地训练过程中，分别通过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失函数。
假设对于第t轮训练，用户客户端i接受到中央服务器分发的用户嵌入向量为
Figure 612825DEST_PATH_IMAGE027
、全局物品嵌入向量为
Figure DEST_PATH_IMAGE028
，需要在其用户客户端上经过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失。
计算矩阵分解损失：用户客户端存储着用户评分过的物品序列以及对应的评分数值，假设用户i的历史评分物品序列为
Figure 885674DEST_PATH_IMAGE029
，那么根据全局物品嵌入向量
Figure 83437DEST_PATH_IMAGE028
，可以得到
Figure DEST_PATH_IMAGE030
为第t轮时，用户i的历史评分的物品嵌入向量，对于用户i嵌入向量
Figure 99935DEST_PATH_IMAGE031
，将
Figure 66754DEST_PATH_IMAGE031
与
Figure DEST_PATH_IMAGE032
中向量做点积，得到预测评分
Figure 776084DEST_PATH_IMAGE033
，与真实评分
Figure DEST_PATH_IMAGE034
，那么所求的矩阵分解损失：
Figure 867668DEST_PATH_IMAGE035
，
其中，
Figure DEST_PATH_IMAGE036
表示用户i对物品j的历史评分，
Figure 687856DEST_PATH_IMAGE037
表示第t个通讯轮次时用户i的嵌入向量，
Figure DEST_PATH_IMAGE038
表示第t个通讯轮次时物品j的嵌入向量。
计算用户对比损失：为了更好地学习用户嵌入向量，基于现有的社交网络理论，用户的兴趣偏好会受其信任用户的影响，变得与他们相似。那么可以认为用户的兴趣偏好与其信任用户的兴趣偏好相似的可能性，大于与任意随机用户的兴趣偏好，表现在嵌入向量中，即用户嵌入向量与其信任用户的嵌入向量的相似度高于随机用户的嵌入向量。那么在对比学习中，对用用户i，其嵌入向量与其每个信任用户的嵌入向量
Figure 978023DEST_PATH_IMAGE039
可以构成n个正对，随后，取数量为
Figure DEST_PATH_IMAGE040
的随机用户嵌入向量
Figure 858255DEST_PATH_IMAGE041
，将用户i的嵌入向量与所述随机用户嵌入向量构成
Figure 765031DEST_PATH_IMAGE040
个负对。计算所求的用户对比损失：
Figure DEST_PATH_IMAGE042
，
其中，
Figure 123331DEST_PATH_IMAGE043
表示集合
Figure DEST_PATH_IMAGE044
中的元素数量，sim()函数为点积相似度计算函数，相较于余弦相似度，在考虑向量间夹角的同时，进一步考虑了向量的模长之间的相似度，
Figure 793303DEST_PATH_IMAGE045
为对用户相似度缩放的温度超参数。
计算物品对比损失：联邦环境下的用户数据呈现出非独立同分布的情况，导致本地模型训练时不能从全局角度出发，来观察数据的分布。本地模型训练的结果与全局训练的结果存在偏差，使最终得到的模型在性能上有所损失。将对比学习应用于物品嵌入向量的纠正时，对于第t轮训练，把当前物品嵌入向量与中央服务器分发的全局物品嵌入向量作为一组正对，当前物品嵌入向量与第t-1轮训练时的物品嵌入向量作为一组负对，以此计算物品对比损失：
Figure DEST_PATH_IMAGE046
，
其中，对于用户客户端i，
Figure 844436DEST_PATH_IMAGE047
，
Figure DEST_PATH_IMAGE048
，
Figure 910612DEST_PATH_IMAGE049
分别表示第t个通讯轮次的本地物品嵌入向量，第t个通讯轮次的全局物品嵌入向量和第t-1个通讯轮次的本地物品嵌入向量，sim()为点积相似度函数，
Figure DEST_PATH_IMAGE050
为对物品相似度缩放的温度超参数。通过物品对比损失，可以将物品嵌入向量的更新方向朝着全局更新的方向拉近。
计算全部损失：对于求到得三个损失，
Figure 72603DEST_PATH_IMAGE051
、
Figure DEST_PATH_IMAGE052
、
Figure 71783DEST_PATH_IMAGE053
，得到模型最终的损失函数：
Figure DEST_PATH_IMAGE054
，
其中
Figure DEST_PATH_IMAGE055
和
Figure DEST_PATH_IMAGE056
分别为控制用户和物品对比损失的超参数。
相比于其他联邦环境下的社交推荐方法，物品对比损失的引入纠正了物品嵌入向量的更新，使它们朝着全局训练得到的结果的方向逼近。通过利用用户的社交信息，计算得到用户对比损失，在学习用户个性化的兴趣偏好时，考虑了社交好友对他们的影响，能更好地提取用户间的特征。同时，用户对比学习和物品对比学习缓解了联邦环境下用户数据非独立同分布的问题，更有利于学习用户和物品的特征，对于推荐结果的提升有着显著的帮助。
步骤3、完成E轮本地训练后，通过梯度保护模块，得到最终需要上传的梯度，并将其上传至中央服务器进行梯度聚合，随后对物品嵌入向量进行更新，完成一个完整的通讯轮次。
即经过E轮本地训练后，将本地训练时利用损失函数进行梯度求导得到的用户梯度和物品梯度上传至中央服务器。考虑恶意攻击者能通过梯度信息推导出用户的原始数据，因此采用本地差分隐私技术对梯度信息进行扰动。对于梯度
Figure DEST_PATH_IMAGE057
，首先对其按照确定的阈值
Figure DEST_PATH_IMAGE058
进行裁剪，随后添加一个均值为0，强度为
Figure DEST_PATH_IMAGE059
的拉普拉斯噪声，其中
Figure DEST_PATH_IMAGE060
为本地差分隐私中的隐私预算：
Figure 372446DEST_PATH_IMAGE061
，
其中，当
Figure 253814DEST_PATH_IMAGE060
越小，对应的拉普拉斯噪声就越大，对梯度的扰动就越大，即对梯度的保护效果越好，但是会导致模型最终的训练效果较差。
完成梯度扰动后，将梯度上传至中央服务器进行聚合。按照FedAvg方法进行梯度的聚合。
对于物品梯度，利用FedAvg方法进行聚合：
Figure DEST_PATH_IMAGE062
，
Figure 219496DEST_PATH_IMAGE063
，
其中，
Figure DEST_PATH_IMAGE064
为参与第t轮训练的用户客户端集合，
Figure 338762DEST_PATH_IMAGE065
为第i个用户客户端中所包含的训练样本个数。N为第t轮训练中所有参与训练的用户客户端中训练样本总数。
随后对全局物品嵌入向量进行更新：
Figure DEST_PATH_IMAGE066
。
至此，一个完整的通讯轮次完成。
步骤4、重复步骤1至步骤3，直至完成预定个数的通讯轮次，即完成模型训练（使模型达到收敛，用户嵌入向量和物品嵌入向量已经充分学习到用户和物品的特征属性），最终得到充分训练后的用户嵌入向量和物品嵌入向量。
步骤5、根据步骤4得到的用户嵌入向量和物品嵌入向量，对于候选物品集
Figure 669380DEST_PATH_IMAGE067
，作为评分预测模块的输入，通过计算其与用户嵌入向量的点积，即可得到用户对物品的预测评分，按照评分高低产生推荐结果，其计算时间复杂度低，且具有一定的拓展性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于联邦学习的社交协同过滤推荐方法，其特征在于：包括以下步骤：
步骤1、由中央服务器选择参与本地训练的用户客户端，并将物品嵌入向量和对应的用户嵌入向量分发到所述用户客户端；
步骤2、在用户客户端上进行E轮本地训练，每轮本地训练过程中，分别通过矩阵分解模块、用户对比模块和物品对比模块来计算模型损失函数；
步骤3、完成E轮本地训练后，通过梯度保护模块，得到最终需要上传的梯度，并将其上传至中央服务器进行梯度聚合，随后对物品嵌入向量进行更新，完成一个完整的通讯轮次；
步骤4、重复步骤1至步骤3，直至完成预定个数的通讯轮次，得到充分训练后的用户嵌入向量和物品嵌入向量；
步骤5、将步骤4得到的用户嵌入向量和物品嵌入向量作为评分预测模块的输入，得到对用户推荐的物品序列。
2.根据权利要求1所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：所述矩阵分解模块中，将第t个通讯轮次中，用户客户端接收到的用户嵌入向量和物品嵌入向量作为输入，计算得到矩阵分解损失为：
Figure 144634DEST_PATH_IMAGE001
，
其中，
Figure DEST_PATH_IMAGE002
表示用户i对物品j的历史评分，
Figure DEST_PATH_IMAGE003
表示第t个通讯轮次时用户i的嵌入向量，
Figure DEST_PATH_IMAGE004
表示第t个通讯轮次时物品j的嵌入向量。
3.根据权利要求2所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：所述用户对比模块中，当用户i的社交信任用户集合为
Figure DEST_PATH_IMAGE005
，随机选择的陌生用户集合为
Figure DEST_PATH_IMAGE006
，则计算得到用户对比损失为：
Figure DEST_PATH_IMAGE007
，
其中，sim()为点积相似度函数，用向量间的点积结果表示向量间的相似度，同时考虑了向量在模和方向上的相似性，
Figure DEST_PATH_IMAGE008
为对用户相似度缩放的温度超参数。
4.根据权利要求3所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：所述物品对比模块中，将当前通讯轮次的物品嵌入向量与中央服务器分发的物品嵌入向量作为一组正对，将当前通讯轮次的物品嵌入向量与上一个通讯轮次的物品嵌入向量作为一个负对，计算得到物品对比损失为：
Figure DEST_PATH_IMAGE009
，
其中，对于用户客户端i，
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE012
分别表示第t个通讯轮次的本地物品嵌入向量，第t个通讯轮次的全局物品嵌入向量和第t-1个通讯轮次的本地物品嵌入向量，sim()为点积相似度函数，
Figure DEST_PATH_IMAGE013
为对物品相似度缩放的温度超参数。
5.根据权利要求4所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：模型最终的损失函数为：
Figure DEST_PATH_IMAGE014
，
其中，
Figure DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
分别为控制用户和物品对比损失的超参数。
6.根据权利要求1所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：步骤3中在上传梯度之前，对梯度加上一个符合拉普拉斯噪声的扰动：
Figure DEST_PATH_IMAGE017
，
其中，对于第i个用户客户端，
Figure DEST_PATH_IMAGE018
为扰动后的梯度，
Figure DEST_PATH_IMAGE019
为扰动前的原始梯度，
Figure DEST_PATH_IMAGE020
为满足
Figure DEST_PATH_IMAGE021
-差分隐私的一个噪声，
Figure DEST_PATH_IMAGE022
为差分隐私的敏感度，
Figure DEST_PATH_IMAGE023
为差分隐私的隐私预算。
7.根据权利要求6所述的一种基于联邦学习的社交协同过滤推荐方法，其特征在于：得到扰动后的梯度
Figure 573692DEST_PATH_IMAGE018
后，利用FedAvg方法对梯度进行聚合，利用训练样本数量对梯度进行加权处理：
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，
其中，S为第t个通讯轮次中选择参与训练的用户客户端集合，
Figure DEST_PATH_IMAGE026
表示用户客户端i中拥有的训练样本数量。
CN202210412917.7A 2022-04-20 2022-04-20 一种基于联邦学习的社交协同过滤推荐方法 Active CN114510652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210412917.7A CN114510652B (zh) 2022-04-20 2022-04-20 一种基于联邦学习的社交协同过滤推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210412917.7A CN114510652B (zh) 2022-04-20 2022-04-20 一种基于联邦学习的社交协同过滤推荐方法

Publications (2)

Publication Number Publication Date
CN114510652A true CN114510652A (zh) 2022-05-17
CN114510652B CN114510652B (zh) 2023-04-07

Family

ID=81555138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210412917.7A Active CN114510652B (zh) 2022-04-20 2022-04-20 一种基于联邦学习的社交协同过滤推荐方法

Country Status (1)

Country Link
CN (1) CN114510652B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022316A (zh) * 2022-05-20 2022-09-06 阿里巴巴（中国）有限公司 端云协同数据处理***、方法、设备及计算机存储介质
CN115225405A (zh) * 2022-07-28 2022-10-21 上海光之树科技有限公司 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
CN115587257A (zh) * 2022-12-13 2023-01-10 阿里巴巴（中国）有限公司 模型超参数优化方法、存储介质和电子设备
CN115775026A (zh) * 2022-12-27 2023-03-10 重庆大学 一种基于组织相似度的联邦学习方法
CN115952550A (zh) * 2023-03-14 2023-04-11 深圳市洞见智慧科技有限公司 基于分离学习的纵向图联邦信息推荐方法及相关装置
CN116151892A (zh) * 2023-04-20 2023-05-23 中国科学技术大学 物品推荐方法、***、设备及存储介质
CN116226540A (zh) * 2023-05-09 2023-06-06 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110321494A (zh) * 2019-06-26 2019-10-11 北京交通大学 基于矩阵分解与网络嵌入联合模型的社会化推荐方法
CN111814985A (zh) * 2020-06-30 2020-10-23 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113516255A (zh) * 2021-07-28 2021-10-19 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品
CN113609398A (zh) * 2021-08-17 2021-11-05 石家庄铁道大学 一种基于异构图神经网络的社交推荐方法
WO2022047757A1 (en) * 2020-09-05 2022-03-10 Qualcomm Incorporated Resource allocation for over-the-air model aggregation in federated learning
CN114298783A (zh) * 2021-12-16 2022-04-08 重庆邮电大学 基于矩阵分解融合用户社交信息的商品推荐方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110321494A (zh) * 2019-06-26 2019-10-11 北京交通大学 基于矩阵分解与网络嵌入联合模型的社会化推荐方法
CN111814985A (zh) * 2020-06-30 2020-10-23 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
WO2022047757A1 (en) * 2020-09-05 2022-03-10 Qualcomm Incorporated Resource allocation for over-the-air model aggregation in federated learning
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113516255A (zh) * 2021-07-28 2021-10-19 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品
CN113609398A (zh) * 2021-08-17 2021-11-05 石家庄铁道大学 一种基于异构图神经网络的社交推荐方法
CN114298783A (zh) * 2021-12-16 2022-04-08 重庆邮电大学 基于矩阵分解融合用户社交信息的商品推荐方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QINBIN LI 等: "Model-Contrastive Federated Learning", 《IEEE》 *
唐浩 等: "《基于协同知识图谱特征学习的论文推荐方法》", 《计算机工程》 *
郭宁宁等: "融合社交网络特征的协同过滤推荐算法", 《计算机科学与探索》 *
高海燕等: "基于图嵌入模型的协同过滤推荐算法", 《数据采集与处理》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022316A (zh) * 2022-05-20 2022-09-06 阿里巴巴（中国）有限公司 端云协同数据处理***、方法、设备及计算机存储介质
CN115022316B (zh) * 2022-05-20 2023-08-11 阿里巴巴（中国）有限公司 端云协同数据处理***、方法、设备及计算机存储介质
CN115225405A (zh) * 2022-07-28 2022-10-21 上海光之树科技有限公司 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
CN115225405B (zh) * 2022-07-28 2023-04-21 上海光之树科技有限公司 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
CN115587257A (zh) * 2022-12-13 2023-01-10 阿里巴巴（中国）有限公司 模型超参数优化方法、存储介质和电子设备
CN115587257B (zh) * 2022-12-13 2023-04-07 阿里巴巴（中国）有限公司 模型超参数优化方法、存储介质和电子设备
CN115775026A (zh) * 2022-12-27 2023-03-10 重庆大学 一种基于组织相似度的联邦学习方法
CN115952550A (zh) * 2023-03-14 2023-04-11 深圳市洞见智慧科技有限公司 基于分离学习的纵向图联邦信息推荐方法及相关装置
CN116151892A (zh) * 2023-04-20 2023-05-23 中国科学技术大学 物品推荐方法、***、设备及存储介质
CN116151892B (zh) * 2023-04-20 2023-08-29 中国科学技术大学 物品推荐方法、***、设备及存储介质
CN116226540A (zh) * 2023-05-09 2023-06-06 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和***
CN116226540B (zh) * 2023-05-09 2023-09-26 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和***

Also Published As

Publication number Publication date
CN114510652B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114510652B (zh) 一种基于联邦学习的社交协同过滤推荐方法
Dong et al. Federated class-incremental learning
CN107563841B (zh) 一种基于用户评分分解的推荐***
CN108460619B (zh) 一种提供融合显隐式反馈的协同推荐模型的方法
CN112232925A (zh) 一种融合知识图谱对商品进行个性化推荐的方法
CN116049570A (zh) 一种基于联邦对比学习的双塔社交推荐方法
CN114841364B (zh) 一种满足个性化本地差分隐私需求的联邦学习方法
Wang et al. MIASec: Enabling data indistinguishability against membership inference attacks in MLaaS
CN109933720B (zh) 一种基于用户兴趣自适应演化的动态推荐方法
CN115270001B (zh) 基于云端协同学习的隐私保护推荐方法及***
CN115391576A (zh) 一种基于聚类的联邦图学习方法及***
CN112950325A (zh) 一种社交行为融合的自注意力序列推荐方法
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及***
Chivukula et al. Adversarial learning games with deep learning models
CN116383519A (zh) 基于双加权的自注意力的群组推荐方法
Asad et al. Moreau envelopes-based personalized asynchronous federated learning: Improving practicality in network edge intelligence
CN117035059A (zh) 一种通信高效的隐私保护推荐***及方法
CN109508424B (zh) 一种基于特征演进的流式数据推荐方法
CN116541592A (zh) 向量生成方法、信息推荐方法、装置、设备及介质
Zhang et al. How Often Channel Estimation is Required for Adaptive IRS Beamforming: A Bilevel Deep Reinforcement Learning Approach
CN110795640A (zh) 一种弥补群组成员差异的自适应组推荐方法
CN116304332A (zh) 一种知识图谱混合推荐方法
Hui et al. Node-polysemy aware recommendation by matrix completion with side information
CN117994635B (zh) 一种噪声鲁棒性增强的联邦元学习图像识别方法及***
Wei Communication efficient federated personalized recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant