CN115174046B - 向量空间上的联邦学习双向可验证隐私保护方法及*** - Google Patents

Abstract

本发明公开了一种向量空间上的联邦学习双向可验证隐私保护方法及***，首先可信第三方D公布公开参数；用户进行本地训练得到梯度向量，对其盲化后进行承诺，并上传至聚合服务器AS；接着AS验证梯度密文向量的正确性，聚合后得到聚合结果向量，AS将其作为解来构造方程组，并将每一个方程作为子密钥；然后AS将每个子密钥及其承诺发送给对应的用户；用户验证子密钥的有效性，合作解出聚合结果；最后用户验证最后得到的聚合结果是否正确。本发明不仅能够解决联邦学习训练过程中信息的保密性及完整性问题，还能抵抗成员推理攻击、共谋攻击，以及中间人攻击等，同时解决聚合结果恢复阶段的用户掉线问题，并且减小计算开销，提高模型精度。

Description

向量空间上的联邦学习双向可验证隐私保护方法及***

技术领域

本发明属于联邦学习隐私保护技术领域，涉及一种向量空间上的联邦学习双向可验证隐私保护方法及***；特别涉及针对联邦学习训练过程中用户上传的本地梯度和服务器所下发聚合结果的隐私保护需要和数据完整性需要，设计的一种向量空间上的用户—服务器双向可验证的联邦学习隐私保护方法及***。

背景技术

联邦学习是一种为解决“数据孤岛”问题而提出的分布式机器学习训练框架，参与方在不共享数据的基础上联合建模，实现AI协作。在传统的联邦学习训练过程中，由用户在私有数据集上训练得到本地模型，然后将计算的梯度上传至服务器进行聚合，从而得到聚合结果。但由用户直接上传梯度的方式存在诸多隐私威胁，例如，敌手可以针对用户的梯度推测出其私有数据中的敏感信息，而在聚合结果下发阶段同样存在隐私泄露问题；另外，如何保证在信息收发过程中不被中间人篡改，也是联邦学习隐私保护需要考虑的重要问题。

现有的联邦学习隐私保护方法大多基于同态加密技术和差分隐私技术，这类方法存在计算开销大或模型精度影响等问题，因此本发明采用门限秘密共享技术来实现隐私保护功能。而且考虑到在联邦学习中，用户上传的梯度与服务器下发的聚合结果都为向量的形式，因此需将对一维数值的秘密共享运算扩展到向量空间。

同时，为解决信息收发过程中的数据完整性问题，保护其不被中间人篡改，需由发送者对要发送的消息进行承诺，并将承诺值与消息一并发送给接收者，接收者通过验证承诺值来检验消息的完整性。现有承诺方案多是基于Pedersen同态承诺，但其仅是对一维数值进行承诺，考虑到消息皆为向量的形式，需将对一维数值的承诺扩展为多项式承诺。

发明内容

为解决上述在联邦学习训练过程中，用户上传的本地梯度和服务器所下发聚合结果的隐私保护问题和数据完整性问题，本发明提供了一种向量空间上的联邦学习双向可验证隐私保护方法及***。

本发明的方法所采用的技术方案是：一种向量空间上的联邦学习双向可验证隐私保护方法，参与者包括聚合服务器AS和n个用户，以及可信第三方D；

所述方法包括以下步骤：

步骤1：可信第三方D公布计算承诺所需公开参数；

可信第三方D公布计算承诺所需公开参数ck＝{G,q,g,h}，其中，g是q阶有限循环群G的生成元，h是G中的元素，且计算h对g的离散对数是困难的；

步骤2：本地训练；

用户在私有数据集上训练得到本地联邦学习模型，并计算出梯度密文向量，使用随机向量对梯度盲化后对梯度密文向量进行承诺，然后将梯度密文向量与承诺向量一起上传至聚合服务器AS；

步骤3：梯度验证；

聚合服务器AS根据验证方程验证梯度密文向量的正确性；

步骤4：梯度聚合；

聚合服务器AS将所有验证通过的梯度密文向量进行聚合，解密后得到聚合结果向量并对聚合结果进行承诺；

步骤5：子密钥下发；

聚合服务器AS将聚合结果向量作为解来构造方程组，并将每一个方程作为子密钥分发给每个用户，同时对聚合结果和每个子密钥进行承诺；然后将每个子密钥及其承诺发送给对应的用户，将聚合结果的承诺发送给所有用户；

步骤6：聚合结果恢复；

用户验证自己收到的子密钥的有效性，通过验证则合作解出聚合结果；参与恢复聚合结果的用户根据验证方程来验证最后得到的聚合结果是否正确。

本发明的***所采用的技术方案是：一种向量空间上的联邦学习双向可验证隐私保护***，参与者包括聚合服务器AS和n个用户，以及可信第三方D；

所述***包括以下模块：

模块1，用于可信第三方D公布计算承诺所需公开参数；

可信第三方D公布计算承诺所需公开参数ck＝{G,q,g,h}，其中，g是q阶有限循环群G的生成元，h是G中的元素，且计算h对g的离散对数是困难的；

模块2，用于本地训练；

用户在私有数据集上训练得到本地联邦学习模型，并计算出梯度密文向量，使用随机向量对梯度盲化后对梯度密文向量进行承诺，然后将梯度密文向量与承诺向量一起上传至聚合服务器AS；

模块3，用于梯度验证；

聚合服务器AS根据验证方程验证梯度密文向量的正确性；

模块4，用于梯度聚合；

聚合服务器AS将所有验证通过的梯度密文向量进行聚合，解密后得到聚合结果向量并对聚合结果进行承诺；

模块5，用于子密钥下发；

聚合服务器AS将聚合结果向量作为解来构造方程组，并将每一个方程作为子密钥分发给每个用户，同时对聚合结果和每个子密钥进行承诺；然后将每个子密钥及其承诺发送给对应的用户，将聚合结果的承诺发送给所有用户；

模块6，用于聚合结果恢复；

用户验证自己收到的子密钥的有效性，通过验证则合作解出聚合结果；参与恢复聚合结果的用户根据验证方程来验证最后得到的聚合结果是否正确。

本发明方法与现有技术相比有以下优势：

(1)实现了联邦学习训练过程中数据的隐私保护和完整性保护，数据包括用户上传的本地梯度向量及每一轮迭代中服务器下发的聚合结果向量，将对一维数值的运算扩展到向量空间。

(2)本发明中用户上传的本地梯度以向量的形式表示，由用户生成的随机向量盲化后，以密文的形式上传至服务器进行聚合，因此本发明可抵抗半诚实服务器对用户梯度的成员推理攻击。若敌手截获密文，由于其不知道用于盲化梯度的随机向量，所以无法获知用户本地梯度，因此本发明还可抵抗联邦学习训练过程中的中间人攻击，如窃听等。

(3)聚合服务器AS下发的聚合结果同样以向量的形式表示，通过构造一个方程组来实现向量秘密共享，聚合结果以子密钥的形式下发给每个用户，子密钥不透露关于聚合结果的任何信息，因此是语义安全的。只有用户数量达到门限要求(即不少于t个)，才可合作解出聚合结果，因此本发明可抵抗联邦学习训练过程中c个(其中2≤c≤t-1,且 )用户的共谋攻击，同时解决聚合结果恢复阶段的用户掉线问题。另外，本发明使用秘密共享技术来实现聚合结果隐私保护，相较于使用同态加密的方案，其计算开销更小；同时相较于使用差分隐私的方案，其模型精度更高。

(4)为抵抗信息收发过程中中间人的篡改等攻击，需对信息的完整性进行保护。现有的联邦学习数据完整性保护方案多是基于Pedersen承诺，但其仅是对一维数值进行承诺。考虑到实际情况下，用户上传的本地梯度与服务器下发的聚合结果均为特征向量，因此本发明采用构造多项式的方式来实现对向量的承诺，即将对一维数值的承诺扩展到多维，具有更好的实用价值。

(5)本发明可以为现有的其他联邦学习训练过程中的隐私保护方案提供支持，同时对于研究更加安全高效的方案具有促进作用。

附图说明

图1：本发明实施例的方法构架图；

图2：本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

联邦学习是一种分布式机器学习训练框架，参与方在不共享数据的基础上联合建模，实现AI协作。参与联邦学习训练过程的用户希望***露自己的私有数据和训练得到的本地梯度，服务器希望***露聚合结果，同时各参与方希望信息在收发过程中不被中间人篡改。因此，双向可验证的联邦学习隐私保护方法有很好的实际意义和应用价值。

请见图1，本发明提供的一种向量空间上的联邦学习双向可验证隐私保护方法，参与者包括聚合服务器AS和n个用户P_i，i＝1,2,...,n，以及可信第三方D；其中，可信第三方D通过安全信道与聚合服务器AS及各个用户P_i收发消息，且聚合服务器AS和n个用户P_i都是半诚实的；n个用户P_i负责训练得到本地梯度，对梯度加密并进行承诺后上传至聚合服务器；在收到服务器发送的用于恢复聚合结果的子密钥后合作解出聚合结果；聚合服务器AS负责对用户上传的梯度密文验证后进行聚合，并对聚合结果承诺后发送给所有用户；构造出可以恢复聚合结果但又***露聚合结果的子密钥，对其承诺后分发给每个用户；可信第三方D负责公布计算承诺所需公共参数，并保管盲化梯度所需的随机向量，对所有随机向量进行求和后将其发送给聚合服务器，用于解密得到聚合结果(若用户将自己的随机向量直接发送给聚合服务器AS，则服务器可计算出该用户的梯度信息)。

请见图2，本发明提供的一种向量空间上的联邦学习双向可验证隐私保护方法，包括以下步骤：

步骤1：可信第三方D公布计算承诺所需公开参数；

可信第三方D公布计算承诺所需公开参数ck＝{G,q,g,h}，其中，g是q阶有限循环群G的生成元，h是G中的元素，且计算h对g的离散对数是困难的(即：对有唯一的x，使得≡g^x，称x为h对g的离散对数。当给定g和x时，可用快速指数算法较容易地求出h；但若已知h和g，求x则非常困难。此即为离散对数困难问题。)；

步骤2：本地训练；

用户在私有数据集(用户提前收集的数据集，该数据集不出本地，其数据只有用户自己知道。每个用户都有自己的私有数据集。)上训练得到本地联邦学习模型，并计算出梯度密文向量，使用随机向量对梯度盲化后对梯度密文向量进行承诺，然后将梯度密文向量与承诺向量一起上传至聚合服务器AS；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：用户P_i在自己的私有数据集上进行训练，得到本地联邦学习模型，并计算出梯度向量：其中，g_it表示第i个用户的梯度向量/>中的第t个元素，i＝1,2,...,n；n为用户总数；

步骤2.2：P_i生成一个t维随机向量：其中，r_i1,r_i2,...,r_it为随机数；P_i利用随机向量/>将自己的梯度向量/>盲化后得到梯度密文向量/> 记：v_ij＝g_ij+r_ij,＝1,2,...,t；则：

步骤2.3：P_i对梯度密文向量进行承诺；

步骤2.3.1：P_i以梯度密文向量中的元素v_i1,v_i2,...,v_it作为系数，构造一个t-1次多项式/>再从有限域/>上选择随机数ρ_i1,ρ_i2,...,ρ_it，构造多项式/>其中，/>表示比q小且与q互素的所有数的集合，且不包含0；

易知，多项式fv_i(x)可由其系数向量来表示，同理，多项式v_i(x)亦可由其系数向量/>来表示；

步骤2.3.2：P_i对fv_i(x)的每个系数v_ij,j＝1,2,...,t,进行承诺，即计算： 则承诺值向量/>

步骤2.3.3：P_i将i分别代入两个多项式fv_i(x)和v_i(x)，计算函数值α_i＝fv_i(i)和β_i＝v_i(i)，其为验证承诺所需参数；

步骤2.4：用户P_i将自己的梯度密文向量与承诺向量/>以及计算出的函数值算α_i和β_i一同发送给聚合服务器AS，即发送：/>其中||表示数据的拼接；

步骤2.5：用户P_i将自己生成的随机向量通过安全信道发送给可信第三方D(若直接发送给服务器，则半诚实服务器可计算出每个用户上传的梯度，从而进行成员推理攻击试图获取用户本地数据)。

步骤3：梯度验证；

本实施例中，聚合服务器AS收到n个用户P_i发送的梯度密文与承诺以及函数值后，根据验证方程/>来验证自己收到的梯度密文向量/>的正确性。

步骤4：梯度聚合；

聚合服务器AS将所有验证通过的梯度密文向量进行聚合，解密后得到聚合结果向量并对聚合结果进行承诺；

本实施例中，步骤4的具体实现包括以下子步骤：

步骤4.1：聚合服务器AS将所有通过验证的梯度密文进行加法聚合，/>

步骤4.2：可信第三方D收到n个用户P_i发送的随机向量后，计算所有随机向量之和/>并将其通过安全信道发送给聚合服务器AS；

步骤4.3：聚合服务器AS对盲化后的梯度密文向量进行解密，即计算： 则得到聚合结果向量，记

步骤4.4：聚合服务器AS对聚合结果向量进行承诺；

步骤4.4.1：聚合服务器AS将聚合结果向量中的元素ω₁,ω₂,...,ω_t作为系数，构造一个t-1次多项式：/>再从有限域/>上选择随机数δ₁,δ₂,...,δ_t，构造多项式：/>

易知，多项式fw(x)可由其系数向量来表示，同理，多项式w(x)亦可由其系数向量/>来表示；

步骤4.4.2：聚合服务器AS对fw(x)的每个系数ω_i,i＝1,2,...,t,进行承诺，即计算：令/>

步骤4.4.3：聚合服务器AS计算γ＝fw(i)和λ＝hw(i)，其为验证承诺所需参数。

步骤5：子密钥下发；

聚合服务器AS将聚合结果向量作为解来构造方程组，并将每一个方程作为子密钥分发给每个用户，同时对聚合结果和每个子密钥进行承诺；然后将每个子密钥及其承诺发送给对应的用户，将聚合结果的承诺发送给所有用户；

本实施例中，步骤5的具体实现包括以下子步骤：

步骤5.1：聚合服务器AS以聚合结果向量中的元素ω₁,ω₂,...,ω_t作为未知数，构造含n个t元一次方程的方程组：/>

其中，记：则上述方程组可表示为：AW＝B；记：/>

该方程组满足：且对A的任意t行所形成的矩阵，其秩都为t，因此方程组有唯一解，且其中任意t个方程构成的方程组也都有唯一解，解即为聚合结果向量/>

步骤5.2：聚合服务器AS为每个用户P_i选取一个方程，即一个向量作为用户P_i的子密钥，记/>当有t个用户会合时，将形成含有t个t元一次方程的方程组，即能解出聚合结果向量；

步骤5.3：聚合服务器AS对每个子密钥进行承诺；

步骤5.3.1：聚合服务器AS对每一个子密钥向量将其中的元素k_i1,k_i2,...,k_i,t+1作为系数，构造一个t次多项式/>再从有限域/>上选择随机数τ_i1,τ_i2,...,τ_it，构造多项式

易知，多项式fk_i(x)可由其系数向量来表示，同理，多项式k_i(x)亦可由其系数向量/>来表示；

步骤5.3.2：聚合服务器AS对fk_i(x)的每个系数k_ij,j＝1,2,...,t,进行承诺，即计算则承诺值向量/>

步骤5.3.3：聚合服务器AS将i分别代入两个多项式fk_i(x)和k_i(x)，计算函数值μ_i＝fk_i(i)和η_i＝k_i(i)，其为验证承诺所需参数；

步骤5.4：聚合服务器AS将每个子密钥与其承诺还有相关参数μ_i||η_i一同下发给对应的用户P_i，即发送：/>

步骤5.5：聚合服务器AS将聚合结果向量的承诺及相关参数发送给所有用户P_i。

步骤6：聚合结果恢复；

用户验证自己收到的子密钥的有效性，通过验证则合作解出聚合结果(参与恢复聚合结果的用户人数须不少于门限值t)；参与恢复聚合结果的用户根据验证方程来验证最后得到的聚合结果是否正确；

本实施例中，步骤6的具体实现包括以下子步骤：

步骤6.1：用户P_i收到自己的子密钥与承诺以及函数值后，根据验证方程/>来验证自己收到的子密钥/>的有效性；

步骤6.2：当n个用户中至少有t人会合时，将得到含有t个t元一次方程的方程组，即解出聚合结果向量：

步骤6.3：参与恢复聚合结果的不少于t个用户P_i根据验证方程 来验证最后得到的聚合结果是否正确。

本发明提出一种向量空间上的联邦学习双向可验证隐私保护方案，基于秘密共享和多项式承诺实现了该方案。该方案不仅能够解决联邦学习训练过程中用户上传的本地梯度和服务器所下发的聚合结果的保密性及完整性问题，还能抵抗联邦学习训练过程中可能存在的服务器对用户梯度的成员推理攻击、用户的共谋攻击，以及信息收发过程中的中间人攻击等，同时解决聚合结果恢复阶段的用户掉线问题，并且减小计算开销，提高模型精度。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种向量空间上的联邦学习双向可验证隐私保护方法，参与者包括聚合服务器AS和n个用户，以及可信第三方D；

其特征在于，所述方法包括以下步骤：

步骤1：可信第三方D公布计算承诺所需公开参数；

可信第三方D公布计算承诺所需公开参数ck＝{G，q，g，h}，其中，g是q阶有限循环群G的生成元，h是G中的元素，且计算h对g的离散对数是困难的；

步骤2：本地训练；

用户在私有数据集上训练得到本地联邦学习模型，并计算出梯度密文向量，使用随机向量对梯度盲化后对梯度密文向量进行承诺，然后将梯度密文向量与承诺向量一起上传至聚合服务器AS；

具体实现包括以下子步骤：

步骤2.1：用户P_i在自己的私有数据集上进行训练，得到本地联邦学习模型，并计算出梯度向量：其中，g_it表示第i个用户的梯度向量/>中的第t个元素，i＝1，2，...，n；n为用户总数；

步骤2.2：Pi生成一个t维随机向量：其中，r_i1，r_i2，...，r_it为随机数；P_i利用随机向量/>将自己的梯度向量/>盲化后得到梯度密文向量/> 记：v_ij＝g_ij+r_ij，j＝1，2，...，t；则：

步骤2.3：P_i对梯度密文向量进行承诺；

步骤2.3.1：P_i以梯度密文向量中的元素v_i1，v_i2，...，v_it作为系数，构造一个t-1次多项式/>再从有限域/>上选择随机数ρ_u1，ρ_i2，...，ρ_it，构造多项式/>其中，/>表示比q小且与q互素的所有数的集合，且不包含0；

步骤2.3.2：P_i对fv_i(x)的每个系数v_ij，j＝1，2，...，t，进行承诺，即计算： 则承诺值向量/>

步骤2.3.3：P_i将i分别代入两个多项式fv_i(x)和hv_i(x)，计算函数值α_i＝fv_i(i)和β_i＝hv_i(i)，其为验证承诺所需参数；

步骤2.4：用户P_i将自己的梯度密文向量与承诺向量/>以及计算出的函数值算α_i和β_i一同发送给聚合服务器AS，即发送：/>其中||表示数据的拼接；

步骤2.5：用户P_i将自己生成的随机向量通过安全信道发送给可信第三方D；

步骤3：梯度验证；

聚合服务器AS根据验证方程验证梯度密文向量的正确性；

步骤4：梯度聚合；

聚合服务器AS将所有验证通过的梯度密文向量进行聚合，解密后得到聚合结果向量并对聚合结果进行承诺；

步骤5：子密钥下发；

聚合服务器AS将聚合结果向量作为解来构造方程组，并将每一个方程作为子密钥分发给每个用户，同时对聚合结果和每个子密钥进行承诺；然后将每个子密钥及其承诺发送给对应的用户，将聚合结果的承诺发送给所有用户；

步骤6：聚合结果恢复；

用户验证自己收到的子密钥的有效性，通过验证则合作解出聚合结果；参与恢复聚合结果的用户根据验证方程来验证最后得到的聚合结果是否正确。

2.根据权利要求1所述的向量空间上的联邦学习双向可验证隐私保护方法，其特征在于：步骤3中，聚合服务器AS收到n个用户P_i发送的梯度密文与承诺以及函数值后，根据验证方程/>来验证自己收到的梯度密文向量/>的正确性。

3.根据权利要求1所述的向量空间上的联邦学习双向可验证隐私保护方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：聚合服务器AS将所有通过验证的梯度密文进行加法聚合，/>

步骤4.2：可信第三方D收到n个用户P_i发送的随机向量后，计算所有随机向量之和并将其通过安全信道发送给聚合服务器AS；

步骤4.3：聚合服务器AS对盲化后的梯度密文向量进行解密，即计算： 则得到聚合结果向量，记

步骤4.4：聚合服务器AS对聚合结果向量进行承诺；

步骤4.4.1：聚合服务器AS将聚合结果向量中的元素ω₁，ω₂，...，ω_t作为系数，构造一个t-1次多项式：/>再从有限域/>上选择随机数δ₁，δ₂，...，δ_t，构造多项式：/>

步骤4.4.2：聚合服务器AS对fw(x)的每个系数ω_i，i＝1，2，...，t，进行承诺，即计算：令/>

步骤4.4.3：聚合服务器AS计算γ＝fw(i)和λ＝hw(i)，其为验证承诺所需参数。

4.根据权利要求3所述的向量空间上的联邦学习双向可验证隐私保护方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：聚合服务器AS以聚合结果向量中的元素ω₁，ω₂，...，ω_t作为未知数，构造含n个t元一次方程的方程组：/>

其中，记：则上述方程组可表示为：AW＝B；记：/>

该方程组满足：且对A的任意t行所形成的矩阵，其秩都为t，因此方程组有唯一解，且其中任意t个方程构成的方程组也都有唯一解，解即为聚合结果向量

步骤5.2：聚合服务器AS为每个用户P_i选取一个方程，即一个向量作为用户P_i的子密钥，记/>当有t个用户会合时，将形成含有t个t元一次方程的方程组，即能解出聚合结果向量；

步骤5.3：聚合服务器AS对每个子密钥进行承诺；

步骤5.3.1：聚合服务器AS对每一个子密钥向量将其中的元素k_i1，k_i2，…，k_i，t+1作为系数，构造一个t次多项式/>再从有限域/>上选择随机数τ_i1，τ_i2，...,τ_it，构造多项式

步骤5.3.2：聚合服务器AS对fk_i(x)的每个系数k_ij，j＝1,2，...,t，进行承诺，即计算则承诺值向量

步骤5.3.3：聚合服务器AS将i分别代入两个多项式fk_i(x)和hk_i(x)，计算函数值μ_i＝fk_i(i)和η_i＝hk_i(i)，其为验证承诺所需参数；

步骤5.4：聚合服务器AS将每个子密钥与其承诺还有相关参数μ_i||η_i一同下发给对应的用户P_i，即发送：/>

步骤5.5：聚合服务器AS将聚合结果向量的承诺及相关参数发送给所有用户P_i。

5.根据权利要求4所述的向量空间上的联邦学习双向可验证隐私保护方法，其特征在于，步骤6的具体实现包括以下子步骤：

步骤6.1：用户P_i收到自己的子密钥与承诺以及函数值后，根据验证方程/>来验证自己收到的子密钥/>的有效性；

步骤6.2：当n个用户中至少有t人会合时，将得到含有t个t元一次方程的方程组，即解出聚合结果向量：

步骤6.3：参与恢复聚合结果的不少于t个用户P_i根据验证方程 来验证最后得到的聚合结果是否正确。

6.一种向量空间上的联邦学习双向可验证隐私保护***，参与者包括聚合服务器AS和n个用户，以及可信第三方D；

其特征在于，所述***包括以下模块：

模块1，用于可信第三方D公布计算承诺所需公开参数；

可信第三方D公布计算承诺所需公开参数ck＝{G，q，g，h}，其中，g是q阶有限循环群G的生成元，h是G中的元素，且计算h对g的离散对数是困难的；

模块2，用于本地训练；

用户在私有数据集上训练得到本地联邦学习模型，并计算出梯度密文向量，使用随机向量对梯度盲化后对梯度密文向量进行承诺，然后将梯度密文向量与承诺向量一起上传至聚合服务器AS；

具体包括以下子模块：

模块2.1，用于用户P_i在自己的私有数据集上进行训练，得到本地联邦学习模型，并计算出梯度向量：其中，g_it表示第i个用户的梯度向量/>中的第t个元素，i＝1，2，...，n；n为用户总数；

模块2.2，用于P_i生成一个t维随机向量：其中，r_i1，r_i2，...，r_it为随机数；P_i利用随机向量/>将自己的梯度向量/>盲化后得到梯度密文向量/> 记：v_ij＝g_ij+r_ij，j＝1，2，...，t；则：

模块2.3，用于P_i对梯度密文向量进行承诺；具体包括以下子模块：

模块2.3.1，用于P_i以梯度密文向量中的元素v_i1，v_i2，...，v_it作为系数，构造一个t-1次多项式/>再从有限域/>上选择随机数ρ_i1，ρ_i2，...，ρ_it，构造多项式/>其中，/>表示比q小且与q互素的所有数的集合，且不包含0；

模块2.3.2，用于P_i对fv_i(x)的每个系数v_ij，j＝1，2，...，t，进行承诺，即计算：则承诺值向量/>

模块2.3.3，用于P_i将i分别代入两个多项式fv_i(x)和hv_i(x)，计算函数值α_i＝fv_i(i)和β_i＝hv_i(i)，其为验证承诺所需参数；

模块2.4，用于用户P_i将自己的梯度密文向量与承诺向量/>以及计算出的函数值算α_i和β_i一同发送给聚合服务器AS，即发送：/>其中||表示数据的拼接；

模块2.5，用于用户P_i将自己生成的随机向量通过安全信道发送给可信第三方D；

模块3，用于梯度验证；

聚合服务器AS根据验证方程验证梯度密文向量的正确性；

模块4，用于梯度聚合；

聚合服务器AS将所有验证通过的梯度密文向量进行聚合，解密后得到聚合结果向量并对聚合结果进行承诺；

模块5，用于子密钥下发；

聚合服务器AS将聚合结果向量作为解来构造方程组，并将每一个方程作为子密钥分发给每个用户，同时对聚合结果和每个子密钥进行承诺；然后将每个子密钥及其承诺发送给对应的用户，将聚合结果的承诺发送给所有用户；

模块6，用于聚合结果恢复；

用户验证自己收到的子密钥的有效性，通过验证则合作解出聚合结果；参与恢复聚合结果的用户根据验证方程来验证最后得到的聚合结果是否正确。