CN115225405A - 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法 - Google Patents

联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法 Download PDF

Info

Publication number
CN115225405A
CN115225405A CN202210899003.8A CN202210899003A CN115225405A CN 115225405 A CN115225405 A CN 115225405A CN 202210899003 A CN202210899003 A CN 202210899003A CN 115225405 A CN115225405 A CN 115225405A
Authority
CN
China
Prior art keywords
client
matrix
key
gradient
learning framework
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210899003.8A
Other languages
English (en)
Other versions
CN115225405B (zh
Inventor
夏长达
张子扬
***
张佳辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Light Tree Technology Co ltd
Original Assignee
Shanghai Light Tree Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Light Tree Technology Co ltd filed Critical Shanghai Light Tree Technology Co ltd
Priority to CN202210899003.8A priority Critical patent/CN115225405B/zh
Priority to CN202310620692.9A priority patent/CN116545734A/zh
Priority to CN202310622218.XA priority patent/CN116545735A/zh
Publication of CN115225405A publication Critical patent/CN115225405A/zh
Application granted granted Critical
Publication of CN115225405B publication Critical patent/CN115225405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/061—Network architectures or network communication protocols for network security for supporting key management in a packet data network for key exchange, e.g. in peer-to-peer networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0838—Key agreement, i.e. key establishment technique in which a shared key is derived by parties as a function of information contributed by, or associated with, each of these
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0891—Revocation or update of secret information, e.g. encryption key update or rekeying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/08—Randomization, e.g. dummy operations or using noise
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种联邦学习框架基于安全聚合和密钥交换的矩阵分解方法，通过在联邦学习框架下对矩阵分解的物品矩阵I的梯度进行安全聚合，为联邦学习增强数据安全性提供了新的思路；利用不出本地
Figure DDA0003770190750000011
和安全聚合的梯度
Figure DDA0003770190750000012
高效地利用上推荐模型(即联邦学习模型)的训练样本，确保了用户数据不离开本地，同时使得推荐模型训练过程更加安全；对梯度加掩码和噪声，有效避免了数据因暴露真实梯度而造成源数据信息的泄露；提供的基于安全聚合的梯度汇总方式，相比较背景技术中采用的同态加密技术，对梯度加解密的计算复杂度更低，计算速度更快，利于提高推荐模型的训练速度。

Description

联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
技术领域
本发明涉及信息处理技术领域，具体涉及一种联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法。
背景技术
目前安全矩阵分解算法主要基于矩阵分解的分布式算法，并通过Paillier同态加密等加密技术来保证传输信息的安全性，避免用户本地数据泄露。现有的安全矩阵分解算法的实现步骤主要为：
1、服务端初始化物品矩阵I，客户端本地初始化各自的用户矩阵U，公钥在服务端和客户端共有，私钥只有客户端有；
2、服务端利用公钥加密I得到密文CI后广播给所有客户端；
3、每个客户端得到CI后利用本地私钥对CI解密得到真实的物品矩阵I，并用来计算客户端所持有的U的梯度并对U进行更新，更新完后计算I的梯度G并加密后得到密文CG；
4、服务端收集CG并更新得到CI＝GI-CG，然后将更新后的CI广播给所有的客户端；
5、重复步骤3-4直至算法收敛。
通过上述步骤1-5可以看到，现有的方案保证了用户数据不出本地，而且同态加密技术让服务端在整个训练流程中都无法拿到梯度的明文，从而无法从单条梯度反推出原始数据，但同态加密的方案需要反复的加解密使得训练不够高效，但若去掉同态加密直接对单条数据的明文梯度进行汇总，在多步训练后可以反推出原始数据，本地数据的安全性又无法保障，因此如何破解现有的安全矩阵分解算法存在的上述技术问题成为行业亟待解决的难题。
发明内容
本发明以使得推荐模型训练过程更为高效，且确保模型训练中本地数据***露为目的，提供了一种联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法。
为达此目的，本发明采用以下技术方案：
提供一种联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，步骤包括：
S1，记联邦学习框架的调度方为服务端，各参与训练方为客户端，所述服务端将初始化后的物品的嵌入矩阵I广播给每个所述客户端；
S2，每个客户端X利用所述嵌入矩阵I计算关于各自本地用户嵌入矩阵UX的梯度
Figure BDA0003770190730000021
并利用
Figure BDA0003770190730000022
更新本地用户的嵌入矩阵UX；
S3，每个所述客户端X利用本地更新后的UX，计算对所述嵌入矩阵I产生的梯度
Figure BDA0003770190730000023
S4，采用密钥交换方法更新所述梯度
Figure BDA0003770190730000024
并对
Figure BDA0003770190730000025
进行汇总得到
Figure BDA0003770190730000026
后，利用
Figure BDA0003770190730000027
更新所述嵌入矩阵I；
S5，重复步骤S2-S4，直至达到联邦学习的终止条件。
作为优选，步骤S2中，所述嵌入矩阵
Figure BDA0003770190730000028
中关联本地用户i的嵌入向量
Figure BDA0003770190730000029
的梯度
Figure BDA00037701907300000210
通过以下公式(1)计算而得：
Figure BDA00037701907300000211
公式(1)中，L为客户端X进行联邦学习的损失函数，
Figure BDA00037701907300000212
MX表示所述客户端X处的评分矩阵；
IT是I的矩阵转置；
‖·‖F表示矩阵的Frobenius范数；
Ij∈R1×k表示所有所述客户端共有的物品j的嵌入向量，是嵌入矩阵I＝[I1,I2,…,Ij,…,Id]∈Rd×k的第j行；
Figure BDA00037701907300000213
表示Ij的向量转置；
Figure BDA00037701907300000214
表示所述客户端X拥有的所述用户i关于物品j的评分(用户i关于物品j没有实际评分的缺失项是建模完后需要预测的)；
j:
Figure BDA00037701907300000215
exists表示所述客户端X拥有的所述用户i实际评过分的物品j；
Figure BDA00037701907300000216
表示对所述客户端X拥有的所述用户i实际评过分的物品j关于记号j进行求和。
作为优选，步骤S2中，通过以下公式(2)更新每个所述客户端X各自本地的用户嵌入矩阵：
Figure BDA00037701907300000217
公式(2)中，λU表示UX的正则化参数,
Figure BDA00037701907300000218
作为优选，步骤S3中，所述嵌入矩阵I中关联物品j的嵌入向量Ij对应的梯度
Figure BDA00037701907300000219
通过以下公式(3)计算而得：
Figure BDA0003770190730000031
公式(3)中，
Figure BDA0003770190730000032
表示
Figure BDA0003770190730000033
的第j行；
Figure BDA0003770190730000034
表示所有所述客户端共有的所述物品j的嵌入向量Ij的向量转置；
Figure BDA0003770190730000035
表示所述嵌入矩阵UX中关联本地用户i的嵌入向量；
Figure BDA0003770190730000036
表示所述客户端X本地拥有的所述用户i关于所述物品j的评分；
i:
Figure BDA0003770190730000037
exists表示所述客户端X拥有的对物品j有过评分行为的那些用户i；
Figure BDA0003770190730000038
表示对所述客户端X拥有的对物品j有过评分行为的那些用户i关于记号i进行求和。
作为优选，步骤S4中，更换所述梯度
Figure BDA0003770190730000039
采用的所述密钥交换方法具体为：
S41，每个客户端X本地生成私钥sX和公钥pX,所述服务端对每个所述客户端X产生的公钥进行交换，每个所述客户端X得到对应的交换公钥集合，记为CX；
S42，根据CX和每个所述客户端X在本地生成的私钥sX，在所述客户端X和其他每个客户端Y的两两客户端之间生成密钥协定，记为key_agreement(X,Y)；
S43，所述客户端X将本地生成的key_agreement(X,Y)作为种子生成掩码，记为mask(X,Y),然后更新步骤S3中的所述梯度
Figure BDA00037701907300000310
作为优选，步骤S41中，CX通过以下表达式(4)表达：
CX＝{P1,…,PX,…,pN} 表达式(4)
表达式(4)中，
Figure BDA00037701907300000311
表示所述客户端X本地生成的公钥；
p表示素数，各客户端预先约定好；
g表示模p的原根，各客户端预先约定好；
％p表示对素数p取模运算；
{p1,…,pX,…,pN}表示所服务器接收到的所有共N个所述客户端在本地生成的公钥的集合。
作为优选，步骤S42中，key_agreement(X,Y)的生成方法为：
所述客户端X从所述交换公钥集合CX中取出所述客户端Y的公钥pY；
所述客户端X根据所述公钥pY和本地生成的所述私钥sX生成为key_agreement(X,Y)。
作为优选，key_agreement(X,Y)的生成公式表达如下：
Figure BDA0003770190730000041
公式(5)中，
Figure BDA0003770190730000042
表示pY的sX次幂；
p表示各客户端预先约定好的素数，；
％p表示对素数p取模运算。
作为优选，步骤S43中，通过以下公式(6)更新所述梯度
Figure BDA0003770190730000043
Figure BDA0003770190730000044
公式(6)中，a(X,Y)表示1或者-1，给客户端按{1,2,…,X,…,N}进行编号，如果客户端X的编号大于客户端Y的编号那么该值等于1，否则等于-1；
∑Y∈{1,2,…,N}\{X}表示对所有非X的客户端Y关于记号Y求和。
作为优选，步骤S4中，汇总
Figure BDA0003770190730000045
的方法通过以下公式(7)表达：
Figure BDA0003770190730000046
步骤S4中，更新所述嵌入矩阵I的方法通过以下公式(8)表达：
Figure BDA0003770190730000047
公式(8)中，λI表示所述嵌入矩阵I的正则化参数。
作为优选，对步骤S3产生的所述梯度
Figure BDA0003770190730000048
加噪声后再转入步骤S4，对所述梯度
Figure BDA0003770190730000049
加噪声的方法通过以下公式(9)表达：
Figure BDA00037701907300000410
公式(9)中，nX表示高斯噪声。
本发明具有以下有益效果：
1、利用安全聚合的梯度
Figure BDA00037701907300000411
和
Figure BDA00037701907300000412
获取推荐模型的训练样本，确保了用户数据不离开本地，同时使得推荐模型训练过程更加安全。
2、对梯度加掩码和噪声，有效避免了数据因暴露真实梯度而造成源数据信息的泄露；
3、提供的基于安全聚合的梯度汇总方式，相比较背景技术中采用的同态加密技术，对梯度加解密的计算复杂度更低，计算速度更快，利于提高推荐模型的训练速度；
4、在联邦学习框架下基于本申请提供的矩阵分解算法来训练推荐模型，在模型训练过程中，参与方不需要交换本地数据，更为有效地确保了本地数据***露。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法的实现步骤图；
图2是本发明实施例提供的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法的流程框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以下以具有A、B、C三个客户端为例，对本实施例提供的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法具体如何实现进行说明：
记联邦学习框架中的调度方为服务端，各参与训练方为客户端，M为评分矩阵(比如imdb多个用户对电影评分对应的矩阵，含有一些需要预测填充的缺失项)，UA、UB、UC分别表示客户端A、B、C的本地用户的嵌入矩阵(利用矩阵来数值化本地的用户)，I表示物品的嵌入矩阵(利用矩阵来数值化共有物品)。如图2所示，本实施例提供的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法的具体实现步骤如下：
1、各方确定好嵌入维度(嵌入维度表示利用多少维度的空间来数值化用户和物品)，服务端根据嵌入维度初始化物品的嵌入矩阵I，客户端A、B、C根据嵌入维度分别初始化自己所拥有的本地用户的嵌入矩阵UA、UB、UC
2、服务端将嵌入矩阵I广播给客户端A、B、C；
3、客户端A利用嵌入矩阵I计算UA的梯度
Figure BDA0003770190730000061
然后更新本地用户的嵌入矩阵UA，
Figure BDA0003770190730000062
其中
Figure BDA0003770190730000063
mA表示客户端A的用户总数，Ij表示所有客户端共有的物品j的嵌入向量，
Figure BDA0003770190730000064
表示Ij的向量转置，
Figure BDA0003770190730000065
表示客户端A拥有的用户i关于物品j的评分，j:
Figure BDA0003770190730000066
exists表示客户端A拥有的用户i实际评过分的那些物品j，
Figure BDA0003770190730000067
表示对客户端A拥有的用户i实际评过分的那些物品j关于记号i进行求和；UA的更新方式为：
Figure BDA0003770190730000068
λU示UA的正则化参数；
客户端B、C分别对应的梯度
Figure BDA0003770190730000069
的计算方法，以及分别更新UB、UC的方法同客户端A，在此不再赘述；
4、客户端A利用本地更新后的UA，计算对用户对嵌入矩阵I产生的梯度
Figure BDA00037701907300000610
其中
Figure BDA00037701907300000611
d表示共有物品总数，i:
Figure BDA00037701907300000612
exists表示客户端A拥有的对物品j有过评分行为的那些用户i，
Figure BDA00037701907300000613
对客户端A拥有的对物品j有过评分行为的那些用户i关于记号i进行求和；
客户端B、C分别对应的梯度
Figure BDA00037701907300000614
的计算方法同客户端A，在此不再赘述；
为了避免暴露真实梯度，优选对每个客户端对应的梯度作加噪声处理，更优选地，通过差分隐私技术对客户端A、B、C的
Figure BDA00037701907300000615
分别加上高斯噪声nA、nB、nC。以客户端A为例，nA表示生成的服从高斯分布的随机矩阵(大小和
Figure BDA00037701907300000616
相同)，
Figure BDA00037701907300000617
更新为
Figure BDA00037701907300000618
5、客户端A、B、C在本地分别生成各自的公钥和私钥，pA、pB、pC分别表示客户端A、B、C在本地生成的公钥，sA、sB、sC分别表示客户端A、B、C在本地生成的私钥。以客户端A为例，私钥sA为本地生成的随机数(数值上小于p)，pA(通过私钥sA计算)为
Figure BDA0003770190730000071
其中g表示生成子(模p的原根，可以选较小的数，简单可以取成2)，
Figure BDA0003770190730000072
表示g的sA次幂，p是大素数(一般可取2048位)，％p表示对p取模运算，每个客户端的g、p预先确定；
6、服务端收集所有公钥pA、pB、pC，并发给客户端A的公钥为pB、pC，发给客户端B的公钥为pA、pC，发给客户端C的公钥为pA、pB；
7、客户端A根据公钥pB、pC和本地生成的私钥sA生成与客户端B的key_agreement(A,B)，与客户端C的key_agreement(A,C)；客户端B根据公钥pA、pC和私钥sB生成与客户端A的key_agreement(A,B)，与客户端C的key_agreement(B,C)；客户端C根据公钥pA、pB和自己的私钥sC生成与客户端A的key_agreement(A,C)，与客户端B的key_agreement(B,C)。以客户端A为例，
Figure BDA0003770190730000073
Figure BDA0003770190730000074
分别表示pB的sA次幂和pC的sA次幂,％p表示对p取模运算。
8、客户端A将本地的key_agreement(A,B)作为种子生成掩码mask(A,B)，将本地的key_agreement(A,C)作为种子生成掩码mask(A,C)，并更新梯度
Figure BDA0003770190730000075
Figure BDA0003770190730000076
客户端B将本地的key_agreement(A,B)作为种子生成掩码mask(A,B)，将本地的key_agreement(B,C)作为种子生成掩码mask(B,C)，并更新梯度
Figure BDA0003770190730000077
Figure BDA0003770190730000078
客户端C将本地的key_agreement(A,C)作为种子生成掩码mask(A,C)，将本地的key_agreement(B,C)作为种子生成掩码mask(B,C)，并更新梯度
Figure BDA0003770190730000079
Figure BDA00037701907300000710
以客户端A为例，掩码mask(A,B)是以key_agreement(A,B)作为种子生成的大小、形状与
Figure BDA00037701907300000711
相同的随机矩阵(可调用开源库函数传入种子参数直接生成)。
9、服务端对梯度进行汇总得到
Figure BDA00037701907300000712
然后更新I，得到
Figure BDA00037701907300000713
λI表示嵌入矩阵I的正则化参数；
10、重复步骤2-8，直到达到联邦推荐模型的最大训练次数或算法收敛。
简而言之，本实施例提供的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，如图1所示，包括步骤：
S1，记联邦学习框架的调度方为服务端，各参与训练方为客户端，服务端将初始化后的物品的嵌入矩阵I广播给每个客户端；
S2，每个客户端X利用嵌入矩阵I计算各自本地用户的嵌入矩阵UX的梯度
Figure BDA0003770190730000081
并利用
Figure BDA0003770190730000082
更新本地用户的嵌入矩阵UX；
S3，每个客户端X利用本地更新后的UX，计算对嵌入矩阵I产生的梯度
Figure BDA0003770190730000083
S4，采用密钥交换方法更新梯度
Figure BDA0003770190730000084
并对
Figure BDA0003770190730000085
进行汇总得到
Figure BDA0003770190730000086
后，利用
Figure BDA0003770190730000087
更新所述嵌入矩阵I；
S5，重复步骤S2-S4，直至达到联邦学习的终止条件。
综上，本发明在联邦学习框架下对矩阵分解的物品矩阵I的梯度进行安全聚合，为联邦学习增强数据安全性提供了新的思路；利用安全聚合的梯度
Figure BDA0003770190730000088
和
Figure BDA0003770190730000089
获取推荐模型(即联邦学习模型)的训练样本，确保了用户数据不离开本地，同时使得推荐模型训练过程更加安全；对梯度加掩码和噪声，有效避免了数据因暴露真实梯度而造成源数据信息的泄露；提供的基于安全聚合的梯度汇总方式，相比较背景技术中采用的同态加密技术，对梯度加解密的计算复杂度更低，计算速度更快，利于提高推荐模型的训练速度。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤包括：
S1，记联邦学习框架的调度方为服务端，各参与训练方为客户端，所述服务端将初始化后的物品的嵌入矩阵I广播给每个所述客户端；
S2，每个客户端X利用所述嵌入矩阵I计算关于各自本地用户嵌入矩阵UX的梯度
Figure FDA0003770190720000011
并利用
Figure FDA0003770190720000012
更新本地用户的嵌入矩阵UX；
S3，每个所述客户端X利用本地更新后的UX，计算对所述嵌入矩阵I产生的梯度
Figure FDA0003770190720000013
S4，采用密钥交换方法更新所述梯度
Figure FDA0003770190720000014
并对
Figure FDA0003770190720000015
进行汇总得到
Figure FDA0003770190720000016
后，利用
Figure FDA0003770190720000017
更新所述嵌入矩阵I；
S5，重复步骤S2-S4，直至达到联邦学习的终止条件。
2.根据权利要求1所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S2中，所述嵌入矩阵
Figure FDA0003770190720000018
中关联本地用户i的嵌入向量
Figure FDA0003770190720000019
的梯度
Figure FDA00037701907200000110
通过以下公式(1)计算而得：
Figure FDA00037701907200000111
公式(1)中，L为客户端X进行联邦学习的损失函数，
Figure FDA00037701907200000112
MX表示所述客户端X处的评分矩阵；
IT是I的矩阵转置；
||·||F表示矩阵的Frobenius范数；
Ij∈R1×k表示所有所述客户端共有的物品j的嵌入向量，是嵌入矩阵I＝[I1，I2，...，Ij，...，Id]∈Rd×k的第j行；
Figure FDA00037701907200000113
表示Ij的向量转置；
Figure FDA00037701907200000114
表示所述客户端X拥有的所述用户i关于物品j的评分(用户i关于物品j没有实际评分的缺失项是建模完后需要预测的)；
j：
Figure FDA00037701907200000115
表示所述客户端X拥有的所述用户i实际评过分的物品j；
∑j：
Figure FDA00037701907200000116
表示对所述客户端X拥有的所述用户i实际评过分的物品j关于记号j进行求和。
3.根据要求2所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S2中，通过以下公式(2)更新每个所述客户端X各自本地的用户嵌入矩阵：
Figure FDA0003770190720000021
公式(2)中，λU表示UX的正则化参数，
Figure FDA0003770190720000022
4.根据权利要求1所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S3中，所述嵌入矩阵I中关联物品j的嵌入向量Ij对应的梯度
Figure FDA0003770190720000023
通过以下公式(3)计算而得：
Figure FDA0003770190720000024
公式(3)中，
Figure FDA0003770190720000025
表示
Figure FDA0003770190720000026
的第j行；
Figure FDA0003770190720000027
表示所有所述客户端共有的所述物品j的嵌入向量Ij的向量转置；
Figure FDA0003770190720000028
表示所述嵌入矩阵UX中关联本地用户i的嵌入向量；
Figure FDA0003770190720000029
表示所述客户端X本地拥有的所述用户i关于所述物品j的评分；
i：
Figure FDA00037701907200000210
表示所述客户端X拥有的对物品j有过评分行为的那些用户i；
∑i：
Figure FDA00037701907200000211
表示对所述客户端X拥有的对物品j有过评分行为的那些用户i关于记号i进行求和。
5.根据权利要求1所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S4中，更换所述梯度
Figure FDA00037701907200000212
采用的所述密钥交换方法具体为：
S41，每个客户端X本地生成私钥sX和公钥pX，所述服务端对每个所述客户端X产生的公钥进行交换，每个所述客户端X得到对应的交换公钥集合，记为CX；
S42，根据CX和每个所述客户端X在本地生成的私钥sX，在所述客户端X和其他每个客户端Y的两两客户端之间生成密钥协定，记为key_agreement(X，Y)；
S43，所述客户端X将本地生成的key_agreement(X，Y)作为种子生成掩码，记为mask(X，Y)，然后更新步骤S3中的所述梯度
Figure FDA00037701907200000213
6.根据权利要求5所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S41中，CX通过以下表达式(4)表达：
CX＝{p1，…，pX，…，pN} 表达式(4)
表达式(4)中，
Figure FDA00037701907200000214
表示所述客户端X本地生成的公钥；
p表示素数，各客户端预先约定好；
g表示模p的原根，各客户端预先约定好；
％p表示对素数p取模运算；
{p1，…，pX，…，pN}表示所服务器接收到的所有共N个所述客户端在本地生成的公钥的集合。
7.根据权利要求6所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S42中，key_agreement(X，Y)的生成方法为：
所述客户端X从所述交换公钥集合CX中取出所述客户端Y的公钥pY；
所述客户端X根据所述公钥pY和本地生成的所述私钥sX生成为key_agreement(X，Y)。
8.根据权利要求7所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，key_agreement(X，Y)的生成公式表达如下：
Figure FDA0003770190720000031
公式(5)中，
Figure FDA0003770190720000032
表示pY的sX次幂；
p表示各客户端预先约定好的素数；
％p表示对素数p取模运算。
9.根据要求5所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S43中，通过以下公式(6)更新所述梯度
Figure FDA0003770190720000033
Figure FDA0003770190720000034
公式(6)中，a(X，Y)表示1或者-1，给客户端按{1，2，…，X，…，N}进行编号，如果客户端X的编号大于客户端Y的编号那么该值等于1，否则等于-1；
∑Y∈{1，2，...，N}\{X}表示对所有非X的客户端Y关于记号Y求和。
10.根据权利要求1所述的联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法，其特征在于，步骤S4中，汇总
Figure FDA0003770190720000035
的方法通过以下公式(7)表达：
Figure FDA0003770190720000036
步骤S4中，更新所述嵌入矩阵I的方法通过以下公式(8)表达：
Figure FDA0003770190720000037
公式(8)中，λI表示所述嵌入矩阵I的正则化参数；
对步骤S3产生的所述梯度
Figure FDA0003770190720000038
加噪声后再转入步骤S4，对所述梯度
Figure FDA0003770190720000039
加噪声的方法通过以下公式(9)表达：
Figure FDA0003770190720000041
公式(9)中，nX表示高斯噪声。
CN202210899003.8A 2022-07-28 2022-07-28 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法 Active CN115225405B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210899003.8A CN115225405B (zh) 2022-07-28 2022-07-28 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
CN202310620692.9A CN116545734A (zh) 2022-07-28 2022-07-28 基于安全聚合和密钥交换的矩阵分解方法
CN202310622218.XA CN116545735A (zh) 2022-07-28 2022-07-28 联邦学习框架下的矩阵分解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899003.8A CN115225405B (zh) 2022-07-28 2022-07-28 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310620692.9A Division CN116545734A (zh) 2022-07-28 2022-07-28 基于安全聚合和密钥交换的矩阵分解方法
CN202310622218.XA Division CN116545735A (zh) 2022-07-28 2022-07-28 联邦学习框架下的矩阵分解方法

Publications (2)

Publication Number Publication Date
CN115225405A true CN115225405A (zh) 2022-10-21
CN115225405B CN115225405B (zh) 2023-04-21

Family

ID=83614120

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310620692.9A Pending CN116545734A (zh) 2022-07-28 2022-07-28 基于安全聚合和密钥交换的矩阵分解方法
CN202210899003.8A Active CN115225405B (zh) 2022-07-28 2022-07-28 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
CN202310622218.XA Pending CN116545735A (zh) 2022-07-28 2022-07-28 联邦学习框架下的矩阵分解方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310620692.9A Pending CN116545734A (zh) 2022-07-28 2022-07-28 基于安全聚合和密钥交换的矩阵分解方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310622218.XA Pending CN116545735A (zh) 2022-07-28 2022-07-28 联邦学习框架下的矩阵分解方法

Country Status (1)

Country Link
CN (3) CN116545734A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249074A (zh) * 2022-07-28 2022-10-28 上海光之树科技有限公司 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法
CN115865307A (zh) * 2023-02-27 2023-03-28 蓝象智联(杭州)科技有限公司 一种用于联邦学习的数据点乘运算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180337899A1 (en) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Post-Quantum Secure Private Stream Aggregation
CN113420232A (zh) * 2021-06-02 2021-09-21 杭州电子科技大学 一种面向隐私保护的图神经网络联邦推荐方法
CN114510652A (zh) * 2022-04-20 2022-05-17 宁波大学 一种基于联邦学习的社交协同过滤推荐方法
CN114564742A (zh) * 2022-02-18 2022-05-31 北京交通大学 一种基于哈希学习的轻量化联邦推荐方法
WO2022141839A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 联邦学习模型的更新方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180337899A1 (en) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Post-Quantum Secure Private Stream Aggregation
WO2022141839A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 联邦学习模型的更新方法、装置、电子设备及存储介质
CN113420232A (zh) * 2021-06-02 2021-09-21 杭州电子科技大学 一种面向隐私保护的图神经网络联邦推荐方法
CN114564742A (zh) * 2022-02-18 2022-05-31 北京交通大学 一种基于哈希学习的轻量化联邦推荐方法
CN114510652A (zh) * 2022-04-20 2022-05-17 宁波大学 一种基于联邦学习的社交协同过滤推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
董业;侯炜;陈小军;曾帅;: "基于秘密分享和梯度选择的高效安全联邦学习" *
陈国润;母美荣;张蕊;孙丹;钱栋军;: "基于联邦学习的通信诈骗识别模型的实现" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249074A (zh) * 2022-07-28 2022-10-28 上海光之树科技有限公司 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法
CN115865307A (zh) * 2023-02-27 2023-03-28 蓝象智联(杭州)科技有限公司 一种用于联邦学习的数据点乘运算方法
CN115865307B (zh) * 2023-02-27 2023-05-09 蓝象智联(杭州)科技有限公司 一种用于联邦学习的数据点乘运算方法

Also Published As

Publication number Publication date
CN115225405B (zh) 2023-04-21
CN116545734A (zh) 2023-08-04
CN116545735A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111160573B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
Xing et al. Mutual privacy preserving $ k $-means clustering in social participatory sensing
WO2021197037A1 (zh) 双方联合进行数据处理的方法及装置
CN109194507B (zh) 非交互式的保护隐私神经网络预测方法
CN112989368B (zh) 多方联合进行隐私数据处理的方法及装置
JP4828355B2 (ja) コンピュータによるデータ分類方法、コンピュータによる分類方法
CN115225405A (zh) 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法
Rahulamathavan et al. Privacy-preserving multi-class support vector machine for outsourcing the data classification in cloud
CN108712260A (zh) 云环境下保护隐私的多方深度学习计算代理方法
CN111241570A (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN113761557A (zh) 一种基于全同态加密算法的多方深度学习隐私保护方法
US8416955B2 (en) Method for determining functions applied to signals
CN116167088A (zh) 一种两方联邦学习中进行隐私保护的方法、***及终端
Zhang et al. SecureTrain: An approximation-free and computationally efficient framework for privacy-preserved neural network training
EP4283917A1 (en) Privacy-preserving clustering methods and apparatuses
CN115865307A (zh) 一种用于联邦学习的数据点乘运算方法
CN113472524B (zh) 一种抗恶意传输数据攻击的数据聚合签名***及方法
CN113098682B (zh) 基于区块链平台的多方安全计算方法、装置及电子设备
Arita et al. Two applications of multilinear maps: group key exchange and witness encryption
Nguyen Advancing Privacy and Accuracy with Federated Learning and Homomorphic Encryption
CN114494803B (zh) 基于安全计算的图像数据标注方法及***
Wang et al. A secure data sharing scheme with cheating detection based on Chaum-Pedersen protocol for cloud storage
CN116248252B (zh) 一种用于联邦学习的数据点乘处理方法
Tezuka et al. A fast privacy-preserving multi-layer perceptron using ring-lwe-based homomorphic encryption
Bonte Optimising privacy-preserving computations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant