CN110572253B - 一种联邦学习训练数据隐私性增强方法及*** - Google Patents
一种联邦学习训练数据隐私性增强方法及*** Download PDFInfo
- Publication number
- CN110572253B CN110572253B CN201910872625.XA CN201910872625A CN110572253B CN 110572253 B CN110572253 B CN 110572253B CN 201910872625 A CN201910872625 A CN 201910872625A CN 110572253 B CN110572253 B CN 110572253B
- Authority
- CN
- China
- Prior art keywords
- server
- model parameters
- parameters
- public
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种联邦学***均得到全局模型参数,分别采用各个客户端的公钥加密,并经由第二服务器发送至各个客户端;客户端基于各自的私钥解密得到全局模型参数,改进本地模型,重复上述过程,直至各客户端本地模型收敛。本发明通过采用双服务器模式结合多密钥同态加密,保证了数据和模型参数的安全。
Description
技术领域
本发明属于数据安全保护技术领域,尤其涉及一种联邦学习训练数据隐私性增强方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
近年来,随着机器学***不断提高。但是传统的机器学习应用要求客户端将用户的数据上传到服务器,在服务器训练模型,这样可能会导致严重的用户隐私泄露。类似隐私泄露的事件频繁发生,用户数据隐私保护所受到的关注与日增加,如何提升信息的安全性已成为全球性问题。而且,机器学习的快速发展一直依赖于大量可用性的标记数据来训练模型,从而使模型达到预期的效果。例如,2016年AlphaGo使用了总计30万场已经被标记好的游戏数据进行训练。然而在更多的行业与领域中,经常会出现训练数据集不足的问题,导致数据拥有方训练的模型达不到预期的效果。出现这种问题,一方面是因为标记数据需要专业人员进行标注,代价昂贵;另一方面是由于数据拥有方出于隐私性考虑不愿共享自己的隐私数据。如何在提高隐私数据的安全性的同时,让那些数据量不足的相关企业训练得到一个高效、准确的模型,是一个重大的挑战。为了克服这些挑战,谷歌提出了一种新的分布式机器学习技术--联邦学习(Federated Learning,FL),允许客户端(比如移动设备)在本地训练数据,完成后只需要将代表模型的优化参数上传到服务器,并通过聚合上传的模型参数,使客户端以协作的形式,学习共享模型。2017年,谷歌在输入法Gboard成功应用联邦学习,Gboard基于用户的历史搜索数据,为用户的下一次搜索结果提供迭代与持续的改进。
联邦学习允许客户端基于本地数据训练模型,在不需要共享本地数据到服务器的情况下,完成模型训练,达到传统集中学习训练的效果。但是,服务器并非可信第三方,无法保证各客户端传输到服务器的模型优化参数是否安全。如果模型的优化参数在服务器被攻击者窃取,攻击者可以通过模型参数还原客户端本地训练数据或者根据模型优化参数重建本地模型。于是,Geyer等人提出了采用差分隐私对敏感信息添加噪声的方式提高模型参数安全性。该方法即使采用差分隐私的方式对模型参数添加噪声,攻击者仍然可以通过腐化服务器获取添加噪声的模型参数来还原其他客户端的训练数据。所以,单纯的添加噪声是有缺陷的。
发明内容
为克服上述现有技术的不足,本发明提供了一种联邦学习训练数据隐私性增强方法及***,皆在保证服务器聚合模型参数过程在内的所有操作安全性得以提高。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种联邦学习训练数据隐私性增强方法,第一服务器生成公共参数和主密钥,将所述公共参数发送给第二服务器;参与联邦学习的多个客户端均从第二服务器获取所述公共参数,并基于所述公共参数生成各自的公钥和私钥对;所述多个客户端进行联邦学习的过程如下:
(1)各客户端基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器;
(2)第二服务器对各加密模型参数进行盲化处理,将盲化的加密模型参数与相应公钥发送给第一服务器;
(3)第一服务器基于主密钥对各盲化的加密模型参数进行解密,通过加权平均得到盲化的全局模型参数,分别采用各个客户端的公钥加密所述盲化的全局模型参数,并发送给第二服务器;
(4)第二服务器移除全局模型参数的盲化信息,将加密的全局模型参数发送至各个客户端;
(5)客户端基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,将得到的新的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器,转入步骤(2),直至各客户端本地模型收敛。
进一步地,进行联邦学习之前,各客户端从第二服务器获取待训练通用模型。
进一步地,所述步骤(1)中,各客户端采用随机梯度下降法训练本地模型。
进一步地,所述步骤(2)中,第二服务器对各加密模型参数进行盲化处理后,将盲化的加密模型参数与相应公钥发送给第一服务器。
进一步地,所述步骤(2)中,第二服务器进行盲化处理包括:
依次为每个客户端相应的模型参数生成随机数,各随机数服从Zn下的均匀分布;
将各随机数依次使用相应客户端的公钥加密;
将加密后的随机数与对应的模型参数依次进行加法同态运算,得到盲化的加密模型参数。
进一步地,所述步骤(3)中通过第一服务器通过联邦平均算法进行加权平均。
进一步地,所述步骤(4)中第二服务器移除全局模型参数的盲化信息后,将加密的全局模型参数发送至各个客户端。
进一步地,所述步骤(4)中第二服务器通过加法同态方法移除全局模型参数的盲化信息。
一个或多个实施例提供了一种联邦学习训练数据隐私性增强***,包括第一服务器、第二服务器和参与联邦学习的多个客户端,其中,
第一服务器,生成公共参数和主密钥,将所述公共参数发送给第二服务器;若接收到加密模型参数与相应公钥,基于主密钥对各盲化的加密模型参数进行解密,通过加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并发送给第二服务器;
第二服务器,接收并存储公共参数;接收加密模型参数与相应公钥,发送给第一服务器;接收到经加密的全局模型参数,发送至各个客户端;
多个客户端,从第二服务器获取所述公共参数,并基于所述公共参数生成各自的公钥和私钥对;进行联邦学习时,各客户端基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器;接收到加密的全局模型参数后,基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,将得到的新的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器,进入下一次迭代,直至各客户端本地模型收敛。
一个或多个实施例提供了一种服务器,应用于联邦学习,经由另一服务器与参与联邦学习的多个客户端通信,被配置为:
生成公共参数和主密钥,并将所述公共参数发送给另一服务器,供多个客户端下载;其中,所述公共参数用于各客户端生成各自的公钥;
自另一服务器接收加密模型参数与相应公钥,其中,所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的;
基于主密钥对加密模型参数进行解密,通过加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并经另一服务器发送至各客户端。
一个或多个实施例提供了一种服务器,应用于联邦学习,用于另一服务器与参与联邦学习的多个客户端之间的通信,被配置为:
接收并存储公共参数供所述多个客户端下载,所述公共参数用于各客户端生成各自的公钥;
接收各客户端发送的加密模型参数与相应公钥,其中,所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的
对各加密模型参数进行盲化处理,将盲化的加密模型参数与相应公钥发送给另一服务器;
自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数,移除盲化信息,将加密的全局模型参数发送至各个客户端。
一个或多个实施例提供了一种客户端,应用于联邦学习,被配置为:
自服务器获取公共参数,并生成各自的公钥;
基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到服务器;
接收加密的全局模型参数后,基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,其中,所述全局模型参数为服务器基于多个客户端发送的模型参数经加权平均得到的。
以上一个或多个技术方案存在以下有益效果:
(1)本发明采用双服务器模式进行联邦学习,在客户端和执行模型参数聚合的服务器(第一服务器)之间增加另一服务器(第二服务器),使得客户端和第一服务器不直接通信,并且,第二服务器对接收到的模型参数进行盲化处理,保证了即便第一服务器可以利用主密钥解密客户端的密文,所得到的明文仍然是被随机数盲化过的,保障了数据的安全。
(2)本发明针对联邦学习多用户的场景,提出使用多密钥同态加密针对联邦学习多用户的场景,提出使用多密钥同态加密,打破多用户需要预先共享相同的公私钥对的限制,方便新的客户端随时加入模型更新,并允许任意客户端随时离线,增加了***的灵活性与可扩展性。
(3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合,保证了模型参数安全性的同时,可以达到与传统联邦学习相同的通信轮数与模型训练效果,模型准确率不变。
(4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分布式深度学习攻击方法通过模型参数还原客户端训练数据,保证服务器端在聚合模型参数过程中各客户端所共享的模型参数的安全性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明一个或多个实施例中联邦学习训练数据隐私性增强方法流程图;
图2为本发明一个或多个实施例中联邦学习训练数据隐私性增强方法数据传输示意图;
图3为本发明一个或多个实施例中两个服务器之间的通信过程示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
同态加密(Homomorphic Encryption,HE)是由Rivest等人于1978年提出的一种特殊加密方案,可以在数据不解密的情况下对密文数据进行加法和乘法计算,得到与在明文状态下计算相同的结果。一般而言,同态加密方案包括4个算法,分别是密钥生成算法Gen、加密算法Enc、解密算法Dec和求值算法Eval。因全同态加密可支持无限次加法和乘法运算的特性,一直被认为是密码学圣杯。但自1978年Rivest提出后,直到2009年IBM研究员Gentry才提出第一个真正意义上的全同态加密方案。但就目前而言使用全同态加密算法效率仍然较低,并不能广泛应用。
双陷门解密方案(BCP方案,参见“A simple public-key cryptosystem with adouble trapdoor decryption mechanism and its applications”,E.Bresson,D.Catalano,D.Pointcheval,in:Advances in Cryptology-ASIACRYPT 2003,Springer,2003,pp.37–54.)属于一种特殊的同态加密算法,其存在两种独立的解密算法,分别为用户解密算法(客户端通过私钥解密)和主密钥解密算法(服务器通过主密钥解密),即指BCP方案除了通过公私钥对数据正常加解密以外,拥有主密钥(master secret key,记为mk)的一方可以在没有对应客户端私钥的情况下解密密文。
本发明基于由Bresson等人提出的双陷门解密的加法同态方案,采用BCP结合双服务器的方案,与多密钥联邦学习场景相结合。此方案共有5种算法,分别为设置算法Setup、公私钥对生成算法KeyGen、加密算法Enc、解密算法Dec与用主密钥解密算法mDec。
实施例一
一种联邦学习训练数据隐私性增强方法,应用于:n个互不信任的客户端,记为Fi(i=1…n),和两个半诚实的第三方服务器,分别记为第一服务器S和第二服务器S′。其中,服务器S′被配置为:负责客户端与服务器S两方的通信以及S′内部的计算;负责存储客户端上传的数据与计算过程中的各种数据;以及存储服务器S发送的公共参数PP。服务器S被配置为:只能与服务器S′交互;负责存储服务器S′发送的数据与计算过程的各种数据;负责存储BCP算法产生的公共参数和主密钥。
如图1和图2所示,所述方法具体包括以下步骤:
步骤1:服务器S运用BCP算法生成公共参数PP和mk;服务器S将公共参数PP发送给服务器S′;
首先服务器S初始化,通过设置算法Setup生成公共参数PP=(N,k,g)与主密钥mk=(p′,q′),并将PP发送给S′。具体地,服务器S初始化生成公共参数(Public Parameter,PP)和主密钥(Master Secret Key,mk):(pp,mk)←Setup(1n):给定一个符合RSA标准的安全参数n,使n=pq,生成公式为:p=2p′+1,q=2q′+1,其中p,q,p′,q′皆为素数。选择一个随机数g使gp′q′mod N2=1+kN,k∈[1,N-1],g是群的素数(g∈ZN 2),生成公共参数PP(Public parameters)=(N,k,g)和主密钥mk(master secret key)=(p′,q′)。
步骤2:客户端从服务器S′下载公共参数PP并利用公共参数PP生成每个客户端自身的公钥和私钥对。
具体地,客户端从服务器S′下载公共参数PP=(N,k,g),并通过KeyGen算法生成客户端各自的公钥和私钥对(pki,ski):(pk,sk)←KeyGen(pp):输入PP,选择随机数a,计算h=ga mod N2,得到公钥pk=h和私钥sk=a。
步骤3:开始学习(即迭代次数t=0时),客户端从服务器S′下载待训练通用模型,客户端基于本地数据集训练模型,计算出代表本地模型的模型参数;每个客户端利用自身的公钥对模型参数进行加密处理并将加密后的模型参数与客户端自己的公钥发送到服务器S′。
每个客户端拥有自己的本地数据集,k是参与客户端的索引值,用pk表示客户端数据的索引集合,长度为nk,nk=|pk|。每个客户端基于本地数据集训练模型,获得模型参数具体地,客户端采用随机梯度下降(SGD)方法,根据上一轮的模型参数ωt计算平均梯度gk,然后本地客户端通过学***局梯度gk与ωt生成需要上传到服务器的模型参数
客户端通过公钥pk与公共参数PP对明文m加密,得到密文c:c←Encpk,pp(m):给定公共参数PP,公钥pk和明文数据m,输出密文c,密文c含有两个值(A,B),其中A=gr mod N2,B=hr(1+mN)mod N2(r为随机数且)。
在多密钥的场景下,客户端通过自己的公钥加密模型数据,既提高了模型参数的安全性保障了客户端的隐私,又增加了***的灵活性与可扩展性。
步骤4:服务器S′对密文状态下的模型参数盲化,然后将盲化的密文与相对应的公钥发送给服务器S。
在本步骤中,服务器S′对模型参数ωi盲化的主要原因是服务器S′无法计算不同公钥下的加密数据,需要S用主密钥mk解密数据,并通过FedAvg算法对数据加权平均,而且我们的两个服务器是半诚实且互不勾结的。为了保证S不能知道模型参数的数据,所以需要在服务器S′中对密文状态下的模型参数盲化,将每个模型参数ωi加入随机数τi。
具体地,S′依次为每个ωi生成随机数τi(i=1…n),随机数τi服从Zn下的均匀分布。S′将τi依次使用每个客户端的公钥加密,得到S′将加密后的随机数与对应的ωi依次进行加法同态的运算,得到盲化的加密信息并将Encpki(φi)和pki发送给服务器S。
S’的这种盲化保证了即便另一个服务器可以利用主密钥解密客户端的密文,所得到的明文仍然是被随机数盲化过的。
步骤5:服务器S通过主密钥对盲化的密文解密,然后对其加权平均,获得一个盲化的全局模型参数;
S通过主密钥解密算法mDec解密S’发送的加密数据:m←mDecpp,pk,mk(c):给定密文c,通过主密钥mk,用户通过公钥pk和公共参数PP将密文c解密得到明文m。
联邦平均算法FedAvg:Google在2017年提出了联邦平均算法(FederatedAveraging,FedAvg),FedAvg可以通过较少次数高质量迭代,得到期望的模型。我们在服务器用FedAvg算法对各客户端上传的模型参数进行加权平均,得到新的全局模型参数。具体地,服务器通过聚合客户端的模型优化参数获得一个新的全局模型参数ωt+1,N=∑knk:/>
步骤6:服务器S通过各个客户端的公钥分别重新加密全局模型参数,并发送给服务器S′。
图3为服务器S和服务器S′之间的交互过程。
步骤7:服务器S′移除密文状态下全局模型参数的盲化信息,将加密的模型参数发送到各个客户端。
服务器S′通过FedAvg算法将τi(将步骤5中的αi替换为τi)加权平均得到参数τfed;服务器S′利用各个客户端的公钥pki加密加权平均后的盲化参数然后S′通过加法同态方式,移除密文γi的盲化信息,计算出新的全局模型权重并发送给各个客户端。
步骤8:客户端用自己的公钥解密全局模型参数,根据全局模型参数改进本地模型,本轮迭代结束,各客户端得到新的模型参数并基于各自的公钥加密后发送至服务器S′,转入步骤4,进入下一轮迭代。
客户端收到服务器S′发送的密文状态下的全局模型参数ωfed,并解密ωfed,Decpp,sk(ωfed),客户端根据解密后的ωfed改进本地模型。
在第t轮通信中,服务器通过聚合客户端的模型权重生成一个新的全局模型参数ωt+1,客户端基于服务器发送的ωt+1优化本地模型,第t轮迭代结束。
步骤9:继续执行步骤3-步骤8,直到训练过程收敛,客户端本地模型得到完善,达到了传统集中学习的效果,迭代结束。
通过这种方式,两个服务器都无法获得有关模型参数的任何信息,从而保障了模型参数及客户端本地训练数据的安全性。
实施例二
本实施例的目的是提供一种联邦学习训练数据隐私性增强***。
为了实现上述目的,本实施例提供了一种联邦学习训练数据隐私性增强***,包括第一服务器、第二服务器和参与联邦学习的多个客户端。
第一服务器,生成公共参数和主密钥,将所述公共参数发送给第二服务器;若接收到加密模型参数与相应公钥,基于主密钥对各盲化的加密模型参数进行解密,通过加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并发送给第二服务器;
第二服务器,接收并存储公共参数;接收加密模型参数与相应公钥,发送给第一服务器;接收到经加密的全局模型参数,发送至各个客户端;
多个客户端,从第二服务器获取所述公共参数,并基于所述公共参数生成各自的公钥和私钥对;进行联邦学习时,各客户端基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器;接收到加密的全局模型参数后,基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,将得到的新的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器,进入下一次迭代,直至各客户端本地模型收敛。
实施例三
本实施例的目的是提供一种服务器。
所述服务器应用于联邦学习,经由另一服务器与参与联邦学习的多个客户端通信,被配置为:
生成公共参数和主密钥,并将所述公共参数发送给另一服务器,供多个客户端下载;其中,所述公共参数用于各客户端生成各自的公钥;
自另一服务器接收加密模型参数与相应公钥,其中,所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的;
基于主密钥对加密模型参数进行解密,通过加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并经另一服务器发送至各客户端。
实施例四
本实施例的目的是提供一种服务器。
所述服务器应用于联邦学习,用于另一服务器与参与联邦学习的多个客户端之间的通信,被配置为:
接收并存储公共参数供所述多个客户端下载,所述公共参数用于各客户端生成各自的公钥;
接收各客户端发送的加密模型参数与相应公钥,其中,所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的
对各加密模型参数进行盲化处理,将盲化的加密模型参数与相应公钥发送给另一服务器;
自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数,移除盲化信息,将加密的全局模型参数发送至各个客户端。
实施例五
本实施例的目的是提供一种客户端,应用于联邦学习,被配置为:
自服务器获取公共参数,并生成各自的公钥;
基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到服务器;
接收加密的全局模型参数后,基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,其中,所述全局模型参数为服务器基于多个客户端发送的模型参数经加权平均得到的。
以上一个或多个实施例具有以下有益效果:
(1)本发明采用双服务器模式进行联邦学习,在客户端和执行模型参数聚合的服务器(第一服务器)之间增加另一服务器(第二服务器),使得客户端和第一服务器不直接通信,并且,第二服务器对接收到的模型参数进行盲化处理,保证了即便第一服务器可以利用主密钥解密客户端的密文,所得到的明文仍然是被随机数盲化过的,保障了数据的安全。
(2)本发明针对联邦学习多用户的场景,提出使用多密钥同态加密针对联邦学习多用户的场景,提出使用多密钥同态加密,打破多用户需要预先共享相同的公私钥对的限制,方便新的客户端随时加入模型更新,并允许任意客户端随时离线,增加了***的灵活性与可扩展性。
(3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合,保证了模型参数安全性的同时,可以达到与传统联邦学习相同的通信轮数与模型训练效果,模型准确率不变。
(4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分布式深度学习攻击方法通过模型参数还原客户端训练数据,保证服务器端在聚合模型参数过程中各客户端所共享的模型参数的安全性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (4)
1.一种联邦学习训练数据隐私性增强方法,其特征在于,
第一服务器生成公共参数和主密钥,将所述公共参数发送给第二服务器;参与联邦学习的多个客户端均从第二服务器获取所述公共参数,并基于所述公共参数生成各自的公钥和私钥对;所述多个客户端进行联邦学习的过程如下:
步骤(1)各客户端基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器;
步骤(2)第二服务器将加密模型参数与相应公钥发送给第一服务器;
所述步骤(2)中,第二服务器对各加密模型参数进行盲化处理后,将盲化的加密模型参数与相应公钥发送给第一服务器;
第二服务器进行盲化处理包括:
依次为每个客户端相应的模型参数生成随机数,各随机数服从Zn下的均匀分布;
将各随机数依次使用相应客户端的公钥加密;
将加密后的随机数与对应的模型参数依次进行加法同态运算,得到盲化的加密模型参数;
步骤(3)第一服务器基于主密钥对各加密模型参数进行解密,通过加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并发送给第二服务器;所述步骤(3)中第一服务器通过联邦平均算法进行加权平均;
步骤(4)第二服务器将加密的全局模型参数发送至各个客户端;
步骤(5)客户端基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,将得到的新的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器,转入步骤(2),直至各客户端本地模型收敛。
2.如权利要求1所述的一种联邦学习训练数据隐私性增强方法,其特征在于,所述步骤(4)中第二服务器移除全局模型参数的盲化信息后,将加密的全局模型参数发送至各个客户端。
3.如权利要求2所述的一种联邦学习训练数据隐私性增强方法,其特征在于,第二服务器通过加法同态方法移除全局模型参数的盲化信息。
4.一种联邦学习训练数据隐私性增强***,其特征在于,包括第一服务器、第二服务器和参与联邦学习的多个客户端,其中,
第一服务器,生成公共参数和主密钥,将所述公共参数发送给第二服务器;若接收到加密模型参数与相应公钥,基于主密钥对各盲化的加密模型参数进行解密,通过联邦平均算法进行加权平均得到全局模型参数,分别采用各个客户端的公钥加密所述全局模型参数,并发送给第二服务器;
第二服务器,接收并存储公共参数;接收加密模型参数与相应公钥,发送给第一服务器;接收到经加密的全局模型参数,发送至各个客户端;
第二服务器进行盲化处理包括:
依次为每个客户端相应的模型参数生成随机数,各随机数服从Zn下的均匀分布;
将各随机数依次使用相应客户端的公钥加密;
将加密后的随机数与对应的模型参数依次进行加法同态运算,得到盲化的加密模型参数;
多个客户端,从第二服务器获取所述公共参数,并基于所述公共参数生成各自的公钥和私钥对;进行联邦学习时,各客户端基于本地数据集训练本地模型,将得到的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器;接收到加密的全局模型参数后,基于各自的私钥解密得到全局模型参数,根据全局模型参数改进本地模型,将得到的新的模型参数采用各自的公钥进行加密,并将加密模型参数与相应公钥发送到第二服务器,进入下一次迭代,直至各客户端本地模型收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910872625.XA CN110572253B (zh) | 2019-09-16 | 2019-09-16 | 一种联邦学习训练数据隐私性增强方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910872625.XA CN110572253B (zh) | 2019-09-16 | 2019-09-16 | 一种联邦学习训练数据隐私性增强方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110572253A CN110572253A (zh) | 2019-12-13 |
CN110572253B true CN110572253B (zh) | 2023-03-24 |
Family
ID=68780193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910872625.XA Active CN110572253B (zh) | 2019-09-16 | 2019-09-16 | 一种联邦学习训练数据隐私性增强方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110572253B (zh) |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111131227B (zh) * | 2019-12-20 | 2023-04-18 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN111143878B (zh) * | 2019-12-20 | 2021-08-03 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私数据进行模型训练的方法及*** |
CN111259443B (zh) * | 2020-01-16 | 2022-07-01 | 百融云创科技股份有限公司 | 一种基于psi技术保护联邦学习预测阶段隐私的方法 |
CN111343265B (zh) * | 2020-02-20 | 2021-03-19 | 深圳前海微众银行股份有限公司 | 信息推送方法、装置、设备及可读存储介质 |
CN111275202B (zh) * | 2020-02-20 | 2023-08-11 | 济南大学 | 一种面向数据隐私保护的机器学习预测方法及*** |
CN111369042B (zh) * | 2020-02-27 | 2021-09-24 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
CN111340453A (zh) * | 2020-02-28 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 联邦学习开发方法、装置、设备及存储介质 |
CN111260061B (zh) * | 2020-03-09 | 2022-07-19 | 厦门大学 | 联邦学习梯度交换中的差异化加噪方法及*** |
CN111428885B (zh) * | 2020-03-31 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 一种联邦学习中用户的索引方法及联邦学习装置 |
CN111477336A (zh) * | 2020-04-07 | 2020-07-31 | 中南大学 | 传染病诊断数据的融合方法、***及存储介质 |
CN111461442B (zh) * | 2020-04-07 | 2023-08-29 | 中国科学技术大学 | 基于联邦学习的知识追踪的方法及*** |
CN111611610B (zh) * | 2020-04-12 | 2023-05-30 | 西安电子科技大学 | 联邦学习信息处理方法、***、存储介质、程序、终端 |
CN113569301B (zh) * | 2020-04-29 | 2024-07-05 | 杭州锘崴信息科技有限公司 | 基于联邦学习的安全计算***和方法 |
CN111582504A (zh) * | 2020-05-14 | 2020-08-25 | 深圳前海微众银行股份有限公司 | 联邦建模方法、装置、设备及计算机可读存储介质 |
CN113688855B (zh) * | 2020-05-19 | 2023-07-28 | 华为技术有限公司 | 数据处理方法、联邦学习的训练方法及相关装置、设备 |
CN111598254B (zh) * | 2020-05-22 | 2021-10-08 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、设备及可读存储介质 |
CN111666987A (zh) * | 2020-05-22 | 2020-09-15 | 中国电子科技集团公司电子科学研究院 | 基于联邦学习的跨域数据安全互联方法及*** |
CN111625820A (zh) * | 2020-05-29 | 2020-09-04 | 华东师范大学 | 一种基于面向AIoT安全的联邦防御方法 |
CN112668037B (zh) * | 2020-06-02 | 2024-04-05 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
CN111814985B (zh) * | 2020-06-30 | 2023-08-29 | 平安科技(深圳)有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
CN111930698B (zh) * | 2020-07-01 | 2024-03-15 | 南京晓庄学院 | 基于哈希图和联邦学习的数据安全共享的方法 |
CN111858955B (zh) * | 2020-07-01 | 2023-08-18 | 石家庄铁路职业技术学院 | 基于加密联邦学习的知识图谱表示学习增强方法和装置 |
CN113988254B (zh) * | 2020-07-27 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 用于多个环境的神经网络模型的确定方法及装置 |
CN111985562B (zh) * | 2020-08-20 | 2022-07-26 | 复旦大学 | 一种保护端侧隐私的端云协同训练*** |
CN112217626B (zh) * | 2020-08-24 | 2022-11-18 | 中国人民解放军战略支援部队信息工程大学 | 基于情报共享的网络威胁协同防御***及方法 |
CN112203282B (zh) * | 2020-08-28 | 2022-02-18 | 中国科学院信息工程研究所 | 一种基于联邦迁移学习的5g物联网入侵检测方法及*** |
CN112149160B (zh) * | 2020-08-28 | 2022-11-01 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及*** |
CN112016932B (zh) * | 2020-09-04 | 2024-05-17 | ***股份有限公司 | 测试方法、装置、服务器及介质 |
CN114257386B (zh) * | 2020-09-10 | 2023-03-21 | 华为技术有限公司 | 检测模型的训练方法、***、设备及存储介质 |
CN112116008B (zh) * | 2020-09-18 | 2024-07-05 | 平安科技(深圳)有限公司 | 基于智能决策的目标检测模型的处理方法、及其相关设备 |
CN112232527B (zh) * | 2020-09-21 | 2024-01-23 | 北京邮电大学 | 安全的分布式联邦深度学习方法 |
US11842260B2 (en) | 2020-09-25 | 2023-12-12 | International Business Machines Corporation | Incremental and decentralized model pruning in federated machine learning |
CN112288094B (zh) * | 2020-10-09 | 2022-05-17 | 武汉大学 | 联邦网络表示学习方法及*** |
CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及*** |
CN112348063B (zh) * | 2020-10-27 | 2024-06-11 | 广东电网有限责任公司电力调度控制中心 | 一种物联网中基于联邦迁移学习的模型训练方法及装置 |
CN112348200B (zh) * | 2020-11-02 | 2022-11-15 | 中国科学院信息工程研究所 | 一种基于联邦学习的受控共享学习方法及*** |
CN112347473B (zh) * | 2020-11-06 | 2022-07-26 | 济南大学 | 支持双向隐私保护的机器学习安全聚合预测方法及*** |
CN112560088B (zh) * | 2020-12-11 | 2024-05-28 | 同盾控股有限公司 | 基于知识联邦的数据安全交换方法、装置及存储介质 |
CN112668044B (zh) * | 2020-12-21 | 2022-04-12 | 中国科学院信息工程研究所 | 面向联邦学习的隐私保护方法及装置 |
CN112769766B (zh) * | 2020-12-23 | 2023-03-24 | 广东电网有限责任公司梅州供电局 | 基于联邦学习的电力边缘物联网数据安全聚合方法和*** |
CN112738061B (zh) * | 2020-12-24 | 2022-06-21 | 四川虹微技术有限公司 | 信息处理方法、装置、管理平台、电子设备及存储介质 |
CN112668726B (zh) * | 2020-12-25 | 2023-07-11 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
CN113824677B (zh) * | 2020-12-28 | 2023-09-05 | 京东科技控股股份有限公司 | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
CN112685783B (zh) * | 2021-01-05 | 2024-02-27 | 西安电子科技大学 | 金融许可区块链中支持隐私保护的数据共享方法 |
CN112885337A (zh) * | 2021-01-29 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN112966298B (zh) * | 2021-03-01 | 2022-02-22 | 广州大学 | 一种复合隐私保护方法、***、计算机设备及存储介质 |
CN113037460B (zh) * | 2021-03-03 | 2023-02-28 | 北京工业大学 | 基于同态加密和秘密共享的联邦学习隐私保护方法 |
CN112949741B (zh) * | 2021-03-18 | 2023-04-07 | 西安电子科技大学 | 基于同态加密的卷积神经网络图像分类方法 |
CN113807537B (zh) * | 2021-04-06 | 2023-12-05 | 京东科技控股股份有限公司 | 多源数据的数据处理方法、装置及电子设备、存储介质 |
CN113159918B (zh) * | 2021-04-09 | 2022-06-07 | 福州大学 | 一种基于联邦团渗透的银行客户群体挖掘方法 |
CN113298229A (zh) * | 2021-04-12 | 2021-08-24 | 云从科技集团股份有限公司 | 联邦学习模型训练方法、客户端、服务器及存储介质 |
CN113095513A (zh) * | 2021-04-25 | 2021-07-09 | 中山大学 | 双层公平联邦学习方法、装置和存储介质 |
CN115249073A (zh) * | 2021-04-25 | 2022-10-28 | 华为技术有限公司 | 一种联邦学习方法以及装置 |
CN113163366B (zh) * | 2021-04-25 | 2022-04-15 | 武汉理工大学 | 车联网中基于联邦学习的隐私保护模型聚合***及方法 |
CN113094735B (zh) * | 2021-04-29 | 2023-03-31 | 香港中文大学(深圳) | 隐私模型训练的方法 |
CN113094675B (zh) * | 2021-04-29 | 2023-03-28 | 香港中文大学(深圳) | 基于分布式模型训练的用户认证方法及装置 |
CN113204787B (zh) * | 2021-05-06 | 2022-05-31 | 广州大学 | 基于区块链的联邦学习隐私保护方法、***、设备和介质 |
CN113435592B (zh) * | 2021-05-22 | 2023-09-22 | 西安电子科技大学 | 一种隐私保护的神经网络多方协作无损训练方法及*** |
CN113259363B (zh) * | 2021-05-26 | 2022-09-02 | 中国人民解放军战略支援部队信息工程大学 | 一种隐蔽通信方法及装置 |
CN113326947B (zh) * | 2021-05-28 | 2023-06-16 | 山东师范大学 | 一种联合学习模型训练方法及*** |
CN113434873A (zh) * | 2021-06-01 | 2021-09-24 | 内蒙古大学 | 一种基于同态加密的联邦学习隐私保护方法 |
CN113361618A (zh) * | 2021-06-17 | 2021-09-07 | 武汉卓尔信息科技有限公司 | 一种基于联邦学习的工业数据联合建模方法及*** |
CN113449318B (zh) * | 2021-06-18 | 2024-03-19 | 北京明朝万达科技股份有限公司 | 一种数据分级模型训练方法、装置、数据分级方法、装置 |
CN113468521B (zh) * | 2021-07-01 | 2022-04-05 | 哈尔滨工程大学 | 一种基于gan的联邦学习入侵检测的数据保护方法 |
CN113518007B (zh) * | 2021-07-06 | 2022-09-20 | 华东师范大学 | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 |
CN113704778A (zh) * | 2021-07-16 | 2021-11-26 | 杭州医康慧联科技股份有限公司 | 基于同态加密的机器学习线性模型预测方法 |
CN113673696B (zh) * | 2021-08-20 | 2024-03-22 | 山东鲁软数字科技有限公司 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
CN113642664B (zh) * | 2021-08-24 | 2024-02-20 | 安徽大学 | 一种基于联邦学习的隐私保护图像分类方法 |
CN113902122A (zh) * | 2021-08-26 | 2022-01-07 | 杭州城市大脑有限公司 | 联邦模型协同训练方法、装置、计算机设备及存储介质 |
CN113449329A (zh) * | 2021-08-31 | 2021-09-28 | 国网浙江省电力有限公司信息通信分公司 | 基于安全分享的联邦学习场景下的能源数据融合计算方法 |
CN113836556B (zh) * | 2021-09-26 | 2022-11-04 | 广州大学 | 面向联邦学习的去中心化函数加密隐私保护方法及*** |
CN114021734B (zh) * | 2021-10-14 | 2022-04-12 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的参数计算装置、***及方法 |
CN113992393B (zh) * | 2021-10-26 | 2023-10-03 | 中国电信股份有限公司 | 用于纵向联邦学习的模型更新的方法、设备、***和介质 |
CN113887741B (zh) * | 2021-11-05 | 2022-09-30 | 深圳市电子商务安全证书管理有限公司 | 基于联邦学习的数据生成方法、装置、设备及存储介质 |
CN114154196A (zh) * | 2021-12-02 | 2022-03-08 | 深圳前海微众银行股份有限公司 | 异构数据处理方法、装置及电子设备 |
CN114168988B (zh) * | 2021-12-16 | 2024-05-03 | 大连理工大学 | 一种联邦学习模型聚合方法及电子装置 |
CN114186263B (zh) * | 2021-12-17 | 2024-05-03 | 大连理工大学 | 一种基于纵向联邦学习的数据回归方法及电子装置 |
CN114362940B (zh) * | 2021-12-29 | 2023-09-29 | 华东师范大学 | 一种数据隐私保护的无服务器异步联邦学习方法 |
CN116468132A (zh) * | 2022-01-10 | 2023-07-21 | 华为技术有限公司 | 用户数据处理的***、方法以及装置 |
CN114462626B (zh) * | 2022-04-08 | 2022-07-19 | 北京大学 | 联邦模型训练方法、装置、终端设备以及存储介质 |
CN114817958B (zh) * | 2022-04-24 | 2024-03-29 | 山东云海国创云计算装备产业创新中心有限公司 | 一种基于联邦学习的模型训练方法、装置、设备及介质 |
CN115174033B (zh) * | 2022-06-13 | 2024-04-12 | 湖北工业大学 | 移动群智感知中抗感知平台和用户共谋攻击的方法及*** |
CN115310137B (zh) * | 2022-10-11 | 2023-04-07 | 深圳市深信信息技术有限公司 | 一种智能结算***的保密方法及相关装置 |
CN115878995B (zh) * | 2022-11-17 | 2024-04-19 | 营口巨成教学科技开发有限公司 | 一种胸外按压动作规范性判别***及方法 |
CN117668874B (zh) * | 2023-12-07 | 2024-06-07 | 重庆大学 | 一种基于深度学习训练过程的数据隐私保护方法 |
CN118152898A (zh) * | 2024-05-11 | 2024-06-07 | 山东大学 | 一种基于深度学习的数据隐私保护的心电分类方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107135061A (zh) * | 2017-04-17 | 2017-09-05 | 北京科技大学 | 一种5g通信标准下的分布式隐私保护机器学习方法 |
CN108259158A (zh) * | 2018-01-11 | 2018-07-06 | 西安电子科技大学 | 一种云计算环境下高效和隐私保护的单层感知机学习方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108600263B (zh) * | 2018-05-09 | 2020-09-25 | 电子科技大学 | 一种基于拥有性证明的安全有效的客户端去重方法 |
CN109684855B (zh) * | 2018-12-17 | 2020-07-10 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
CN109992979B (zh) * | 2019-03-15 | 2020-12-11 | 暨南大学 | 一种岭回归训练方法、计算设备、介质 |
-
2019
- 2019-09-16 CN CN201910872625.XA patent/CN110572253B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107135061A (zh) * | 2017-04-17 | 2017-09-05 | 北京科技大学 | 一种5g通信标准下的分布式隐私保护机器学习方法 |
CN108259158A (zh) * | 2018-01-11 | 2018-07-06 | 西安电子科技大学 | 一种云计算环境下高效和隐私保护的单层感知机学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110572253A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110572253B (zh) | 一种联邦学习训练数据隐私性增强方法及*** | |
CN113037460B (zh) | 基于同态加密和秘密共享的联邦学习隐私保护方法 | |
US11449753B2 (en) | Method for collaborative learning of an artificial neural network without disclosing training data | |
CN107196763B (zh) | Sm2算法协同签名及解密方法、装置与*** | |
WO2019072262A3 (en) | Recovering encrypted transaction information in blockchain confidential transactions | |
CN113259329B (zh) | 一种数据不经意传输方法、装置、电子设备及存储介质 | |
CN110190945B (zh) | 基于多加密的线性回归隐私保护方法及*** | |
CN112383388B (zh) | 一种基于云计算大数据的双秘钥加密***及方法 | |
JP6363032B2 (ja) | 鍵付替え方向制御システムおよび鍵付替え方向制御方法 | |
CN112989368A (zh) | 多方联合进行隐私数据处理的方法及装置 | |
CN104158880B (zh) | 一种用户端云数据共享解决方法 | |
JPWO2015155896A1 (ja) | サポートベクトルマシン学習システムおよびサポートベクトルマシン学習方法 | |
CN112183767A (zh) | 一种多密钥下模型聚合的联邦学习方法及相关设备 | |
CN105027492B (zh) | 用于确定共享密钥的设备、方法和*** | |
WO2021106077A1 (ja) | ニューラルネットワークの更新方法、端末装置、計算装置及びプログラム | |
CN111581648B (zh) | 在不规则用户中保留隐私的联邦学习的方法 | |
CN115392487A (zh) | 基于同态加密的隐私保护非线性联邦支持向量机训练方法及*** | |
CN112818369A (zh) | 一种联合建模方法及装置 | |
CN109688143A (zh) | 一种面向云环境中隐私保护的聚类数据挖掘方法 | |
CN115630713A (zh) | 样本标识符不相同下的纵向联邦学习方法、设备和介质 | |
CN114239862A (zh) | 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法 | |
CN104917611A (zh) | 用于云计算的数据加解密处理方法和装置 | |
CN113630250A (zh) | 基于数据加密的模型训练方法及*** | |
Broadbent | Popescu-Rohrlich correlations imply efficient instantaneous nonlocal quantum computation | |
CN117134945A (zh) | 数据处理方法、***、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |