CN116340986A - 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及*** - Google Patents

一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及*** Download PDF

Info

Publication number
CN116340986A
CN116340986A CN202211516395.1A CN202211516395A CN116340986A CN 116340986 A CN116340986 A CN 116340986A CN 202211516395 A CN202211516395 A CN 202211516395A CN 116340986 A CN116340986 A CN 116340986A
Authority
CN
China
Prior art keywords
gradient
noise
value
hash value
blockchain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211516395.1A
Other languages
English (en)
Inventor
晏宗明
文建良
郭正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicom Lingjing Video Jiangxi Technology Co ltd
Original Assignee
Unicom Lingjing Video Jiangxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicom Lingjing Video Jiangxi Technology Co ltd filed Critical Unicom Lingjing Video Jiangxi Technology Co ltd
Priority to CN202211516395.1A priority Critical patent/CN116340986A/zh
Publication of CN116340986A publication Critical patent/CN116340986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***，涉及数据隐私保护技术领域。本发明的技术要点包括：参与方完成训练上传梯度数据时，由智能合约自动添加与梯度哈希值相关的噪声值，区块链中存储的是添加噪声后的梯度，无法直接通过梯度泄露方法恢复用户数据；中心服务器聚合数据时，参与方将梯度数据的哈希值作为参数调用智能合约，智能合约对上传的梯度数据验证后进行下一步操作；智能合约重新计算噪声值并随机分成若干份，并将每一份都保存在区块链中；中心服务器聚合数据时所需的噪声和由智能合约计算所有参与方的共享噪声值后直接返回噪声和；最终计算出最新模型参数。本发明有效解决了用户隐私泄露问题且改善了模型精度下降问题。

Description

一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及 ***
技术领域
本发明涉及数据隐私保护技术领域，具体涉及一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***。
背景技术
随着网络通信的进一步发展，互联网需要更高级别的安全性和更强的隐私保护要求。机器学习需要利用大量的数据进行训练，但对数据和隐私的保护使数据难以流通而形成数据孤岛，无法释放数据的更大价值。基于中央服务器的传统机器学习面临着严重的隐私和安全挑战，无法为未来网络实现无处不在的安全人工智能。此外，由于集中式数据聚合和处理带来的巨大开销，传统的集中式机器学习方案可能不适用于无处不在的人工智能。
联邦学习作为一种新兴的分布式机器学习方案，为解决机器学习面临的隐私和安全问题提供了新的解决思路。在联邦学习中，参与设备通过其本地数据协同训练共享模型，与传统机器学习方案不同，仅将模型更新而不是原始数据上传到集中参数服务器。虽然联邦学习为人工智能的发展提供了不同的解决思路，显著改善了隐私敏感应用程序，但联邦学习仍处于开发的早期阶段，面临着新的挑战。
与传统机器学习方案不同，联邦学习将模型更新而不是原始数据上传到集中参数服务器，这一方法为机器学习提供了较为严密的隐私防护，原始数据数据始终保存在本地，避免了隐私的直接泄露。然而，根据最新研究表明，模型更新的过程仍然面临着隐私泄露的风险，恶意参与方可以通过获取用户训练过程中的梯度更新，推断出用户数据，为联邦学习的数据安全和用户隐私带来极大的威胁。
为解决联邦学习中梯度泄露带来的隐私问题，现有技术主要有两种解决思路：1.利用同态加密等密码学方案对更新的模型参数加密后上传至中心服务器，将更新模型参数使用密码学方案进行加密，仅有中心服务器可以解密并聚合为新模型。该方案中，保证了其他参与方难以获取用户梯度，但中心服务器可以直接获取用户梯度参数，从而存在泄露用户隐私的可能；2.为模型添加噪声，用户上传梯度参数时，为数据添加适当噪声，使参与方无法直接获取每轮训练梯度，从而难以恢复数据。经实验证明，添加噪声在一定程度上可以保护隐私，但是对联邦学习的训练精度及训练速度造成严重影响。
发明内容
为此，本发明提出一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一方面，提供一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，在联邦学习模型的训练过程中按照下述过程进行梯度更新，以对每个参与方的本地训练数据进行隐私保护：
区块链***接收每个参与方上传的第一梯度和第一哈希值；其中，第一梯度是每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练获取的；第一哈希值是根据第一梯度计算获取的；
对于每个第一梯度，所述区块链***计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
对于每个第一哈希值，所述区块链***以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述区块链***将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给中心服务器；
所述中心服务器根据所述噪声值和及添加噪声后的第一梯度计算平均梯度；根据平均梯度进行梯度更新。
进一步地，所述第一梯度的计算公式为：
Figure BDA0003972059350000021
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
进一步地，所述平均梯度的计算公式为：
Figure BDA0003972059350000022
式中，N表示参与方的总数；
Figure BDA0003972059350000023
表示添加噪声后的第一梯度；R表示噪声值和。
进一步地，根据平均梯度进行梯度更新的公式为：
Figure BDA0003972059350000024
式中，η表示学习率。
根据本发明的另一方面，提供一种基于区块链的抗联邦学习梯度攻击的隐私保护***，该***包括多个参与方、中心服务器和区块链***；其中，所述多个参与方中的每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练，获取第一梯度；并根据第一梯度计算获取第一哈希值；将第一梯度和第一哈希值上传至所述区块链***；
所述区块链***包括添加噪声智能合约模块、共享噪声值智能合约模块、噪声和智能合约模块；其中，
所述添加噪声智能合约模块用于：接收每个参与方上传的第一梯度和第一哈希值；对于每个第一梯度，计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
所述共享噪声值智能合约模块用于：对于每个第一哈希值，以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述噪声和智能合约模块用于：将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给所述中心服务器；
所述中心服务器用于根据所述噪声值和及添加噪声后的第一梯度计算平均梯度，并根据平均梯度进行梯度更新。
进一步地，所述第一梯度的计算公式为：
Figure BDA0003972059350000031
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
进一步地，所述平均梯度的计算公式为：
Figure BDA0003972059350000032
式中，N表示参与方的总数；
Figure BDA0003972059350000033
表示添加噪声后的第一梯度；R表示噪声值和。
进一步地，根据平均梯度进行梯度更新的公式为：
Figure BDA0003972059350000034
式中，η表示学习率。
本发明的有益技术效果是：
本发明提出一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***，有效解决了联邦学习模型梯度泄露造成的用户隐私泄露问题，改善了现有的添加噪声方案造成的模型精度下降问题；进一步，通过区块链智能合约保护用户身份安全，避免了训练过程中的恶意破坏行为。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例基于区块链的抗联邦学习梯度攻击的隐私保护方法的流程框图；
图2是本发明实施例中威胁模型示意图；
图3是本发明实施例基于区块链的抗联邦学习梯度攻击的隐私保护方法的流程图；
图4是本发明实施例中对现有的联邦学习模型进行梯度恢复后的数据显示示例图；
图5是本发明实施例中对基于本发明方法训练获取的联邦学习模型进行梯度恢复后的数据显示示例图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
本发明实施例提供一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，在联邦学习模型的训练过程中按照下述过程进行梯度更新，以对每个参与方的本地训练数据进行隐私保护：
区块链***接收每个参与方上传的第一梯度和第一哈希值；其中，第一梯度是每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练获取的；第一哈希值是根据第一梯度计算获取的；
对于每个第一梯度，所述区块链***计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
对于每个第一哈希值，所述区块链***以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述区块链***将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给中心服务器；
所述中心服务器根据所述噪声值和及添加噪声后的第一梯度计算平均梯度；根据平均梯度进行梯度更新。
本实施例中，优选地，所述第一梯度的计算公式为：
Figure BDA0003972059350000051
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
本实施例中，优选地，所述平均梯度的计算公式为：
Figure BDA0003972059350000052
式中，N表示参与方的总数；
Figure BDA0003972059350000053
表示添加噪声后的第一梯度；R表示噪声值和。
本实施例中，优选地，根据平均梯度进行梯度更新的公式为：
Figure BDA0003972059350000054
式中，η表示学习率。
本发明另一实施例提供一种基于区块链的抗联邦学习梯度攻击的隐私保护方法。
在联邦学***衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
在机器学习模型的训练过程中，通过不断更新梯度来优化机器学习模型，以获取最优模型。梯度计算方法如下：
Figure BDA0003972059350000061
其中，Wt为第t轮的模型权重参数；xt,i、yt,i为参与方i第t轮的数据输入及标签；F(·)为输入数据在当前模型参数下的预测值；l(·)为利用预测值与真实标签构造的损失函数。
在学习率为η条件下，每轮权重更新为：
Figure BDA0003972059350000062
联邦学习中，需要对每个参与方分别计算的梯度进行聚合：
Figure BDA0003972059350000063
为从梯度中恢复数据，首先随机初始化一个虚拟输入x'和标签输入y'；然后，将这些“虚拟数据”输入模型并得到“虚拟梯度”
Figure BDA0003972059350000064
Figure BDA0003972059350000065
优化接近原始的虚假梯度也会使假人数据接近真实的训练数据。给定某一步的梯度，通过最小化以下目标来获得训练数据：
Figure BDA0003972059350000066
目标函数中范式距离
Figure BDA0003972059350000067
是可微的，虚拟输入x'和标签y'，可以使用基于标准梯度的方法进行优化。经多次迭代优化，可恢复出真实数据。
上述过程说明了用户的训练数据是如何通过梯度更新导致隐私泄露的，即梯度泄露。
由此，本发明实施例引入区块链，提出一种基于区块链的抗联邦学习梯度攻击的隐私保护方法即一种抵抗机器学习中通过梯度攻击获取用户内容隐私的方法。如图1所示，该方法中包括三方：区块链网络、多个参与方和中心服务器；其中，区块链网络用于提供安全可信的执行环境，保障智能合约的可靠运行，存储数据，保障数据安全；多个参与方为训练数据的提供者，利用自己拥有的训练数据进行训练，以获取模型参数；中心服务器用于模型梯度的聚合与模型权重的更新。
在区块链中，用户共同创造区块验证和记录交易的公共账本。去中心化是区块链最本质的特征，每个节点都备份完整的账本信息；共识机制使每一个互不相干的节点能够验证、确认网络中的数据，进而产生信任，达成共识；加密算法为区块链的匿名性、不可篡改和不可伪造等特点保驾护航，是一条链是否值得信赖、是否有基本的安全性的底线；智能合约是以数字形式定义的能够自动执行条款的合约。它将合同以代码的形式放到区块链上，并在约定的条件下自动执行。区块链不可更改和可追踪的特性为智能合约提供了一个安全可信的运行环境。
智能合约在满足合约触发条件时，合约可以自动执行，不被人为控制。极大程度避免恶意行为对合约正常执行的干扰。基于区块链技术的智能合约不仅可以发挥智能合约在成本效率方面的优势，而且可以避免恶意行为对合约正常执行的干扰。在训练模型的梯度参数中添加噪声虽然可以加强机器学习过程中的隐私保护，但噪声对机器学习训练效果造成严重影响，噪声添加太小无法实现有效的隐私保护，噪声添加过大，对机器学习训练精度造成严重下降。
虽然区块链提供了安全可信的计算环境，但仍然面对着用户数据和隐私遭受攻击风险。图2展示了***面临的威胁。在***内部中，参与方可能会发送错误的数据；中心服务器会根据参与方提高的梯度数据推断用户隐私，恶意节点在机器学习训练过程中会破坏训练过程，使机器学习的训练难以进行，暴露数据方身份和数据隐私；区块链管理用户可以根据存储在区块链中的数据，恢复出参与方数据，根据区块链的交易记录，暴露用户身份等。
本发明实施例提出的基于区块链的抗联邦学习梯度攻击的隐私保护方法用以解决上述问题。
该方法中，参与方完成训练后，上传梯度数据时，由智能合约自动添加与梯度哈希值相关的噪声值并保存在区块链中，区块链中存储的是添加噪声后的梯度，无法直接通过梯度泄露的方法恢复用户的数据；中心服务器聚合数据时，参与方将梯度数据的哈希值作为参数调用智能合约，智能合约对上传的梯度数据进行验证后，方可进行下一步操作。智能合约重新计算噪声值并随机分成若干份，并将每一份都保存在区块链中。恶意节点无法知道噪声值被划分的份数，也无法知道区块链中存储的共享噪声值属于哪个参与方，因此无法获取真正的噪声值。中心服务器聚合数据时所需的噪声和由智能合约计算所有参与方的共享噪声值后直接返回噪声和。最终计算出最新模型参数。区块链中数据操作通过智能合约执行，执行过程无法人为干扰，大大提高***抗恶意节点能力。
该方法中，每位参与方将每轮更新的梯度
Figure BDA0003972059350000071
添加噪声Rt后，发送给中心服务器，中心服务器接收到的梯度/>
Figure BDA0003972059350000072
为：
Figure BDA0003972059350000073
中心服务器对接收到的梯度进行聚合：
Figure BDA0003972059350000074
参与方将生成的噪声利用安全多方计算Fs(·)发送给多个参与方：
r1,r2,...,rs＝Fs(Rt,i) (8)
参与方共同计算所有随机数的和：
Figure BDA0003972059350000081
中心服务器恢复梯度：
Figure BDA0003972059350000082
可以看到中心服务器恢复出的数据与未添加噪声的聚合梯度一致，因此保证了不会因为添加噪声对训练精度造成影响。通过安全多方计算传递添加的噪声，任意参与方与中心服务器均无法直接恢复出噪声值，也无法推断真实梯度，从而保证用户的隐私。
如图3所示，该方法的流程具体包括：
步骤1、多个参与方开始训练；
每个参与方利用中心服务器共享的模型参数，对自身拥有的图像进行机器学习的训练，利用自己的数据计算出梯度
Figure BDA0003972059350000083
步骤2、多个参与方上传梯度；
每个参与方i将各自的梯度
Figure BDA0003972059350000084
作为参数，调用添加噪声智能合约模块，该模块用于计算梯度/>
Figure BDA0003972059350000085
的哈希值：
Figure BDA0003972059350000086
以梯度
Figure BDA0003972059350000087
的哈希值Hi为随机数种子，产生噪声值Ri＝Random(Hi)，计算添加噪声后的梯度：
Figure BDA0003972059350000088
并将
Figure BDA0003972059350000089
存入区块链中。
步骤3、验证数据并共享噪声值；
每个参与方i将梯度
Figure BDA0003972059350000091
的哈希值Hi作为参数，调用共享噪声值智能合约模块，该模块用于验证已经上传的噪声梯度中是否包含与Hi对应的噪声梯度/>
Figure BDA0003972059350000092
首先根据梯度
Figure BDA0003972059350000093
的哈希值Hi计算噪声值Ri'＝Random(Hi)，利用噪声值Ri'和噪声梯度/>
Figure BDA0003972059350000094
计算梯度值/>
Figure BDA0003972059350000095
然后计算
Figure BDA0003972059350000096
的哈希值/>
Figure BDA0003972059350000097
是否与Hi一致。若一致，说明参与方i上传的梯度/>
Figure BDA0003972059350000098
没有被更改；否则说明区块链中存储的噪声梯度与参与方上传的梯度不相符，即说明上传过程中数据被污染或者参与方本身为恶意节点，此时，从***中删除该参与方。
验证数据一致后，将Ri'随机划分成ni份，产生ni个随机数
Figure BDA0003972059350000099
其中
Figure BDA00039720593500000910
并将随机数/>
Figure BDA00039720593500000911
存储在区块链中。
步骤4、获取噪声值和；
中心服务器聚合梯度首先需要获取噪声和。噪声和由中心服务器调用噪声和智能合约模块来求取。该模块将账户中划分之后的所有噪声
Figure BDA00039720593500000912
进行求和获得R，并将R返回给中心服务器。
步骤5、生成无偏差梯度；
中心服务器从区块链中获取多个噪声梯度
Figure BDA00039720593500000913
利用
Figure BDA00039720593500000914
计算出平均梯度，则新一轮模型参数为/>
Figure BDA00039720593500000915
进一步地，将新的模型参数共享给各个参与方后，按照上述步骤进行下一轮训练，直到获得符合要求的联邦学习模型。
本发明实施例中，在梯度上传阶段，参与方调用智能合约对梯度添加噪声，区块链中存储的并非真实梯度；在共享噪声值阶段，参与方将梯度哈希值作为参数调用智能合约，首先根据梯度哈希值进行验证，确认区块链中存储的噪声梯度与上传的梯度相符，随后将噪声值随机分成多份，恶意攻击者无法确认被划分的噪声值属于哪个参与方，所有的划分噪声值保存在同一账户中，无法恢复出真正的噪声值；因此，无法根据噪声梯度和划分噪声值恢复真实梯度，进而保护用户隐私安全；在获取噪声和阶段，由中心服务器直接通过智能合约获取噪声和，避免了直接获取噪声值，从而恢复真实梯度；在聚合梯度阶段，中心服务器利用噪声梯度与噪声和计算出平均梯度，并更新模型参数。本发明与其他添加噪声的现有方案相比，不损失模型参数精度，保证了机器学习训练效果；由于引入了区块链网络，各方之间传递信息不必另外寻找传输通道，大大加强了传输安全，降低了网络通信量。
本发明另一实施例提供一种基于区块链的抗联邦学习梯度攻击的隐私保护***，该***包括多个参与方、中心服务器和区块链***；其中，所述多个参与方中的每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练，获取第一梯度；并根据第一梯度计算获取第一哈希值；将第一梯度和第一哈希值上传至所述区块链***；
所述区块链***包括添加噪声智能合约模块、共享噪声值智能合约模块、噪声和智能合约模块；其中，
所述添加噪声智能合约模块用于：接收每个参与方上传的第一梯度和第一哈希值；对于每个第一梯度，计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
所述共享噪声值智能合约模块用于：对于每个第一哈希值，以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述噪声和智能合约模块用于：将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给所述中心服务器；
所述中心服务器用于根据所述噪声值和及添加噪声后的第一梯度计算平均梯度，并根据平均梯度进行梯度更新。
本实施例中，优选地，所述第一梯度的计算公式为：
Figure BDA0003972059350000101
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
本实施例中，优选地，所述平均梯度的计算公式为：
Figure BDA0003972059350000102
式中，N表示参与方的总数；
Figure BDA0003972059350000103
表示添加噪声后的第一梯度；R表示噪声值和。
本实施例中，优选地，根据平均梯度进行梯度更新的公式为：
Figure BDA0003972059350000104
式中，η表示学习率。
本实施例所述一种基于区块链的抗联邦学习梯度攻击的隐私保护***的功能可以由前述一种基于区块链的抗联邦学习梯度攻击的隐私保护方法说明，因此本实施例未详述部分，可参见以上方法实施例。
进一步通过实验验证本发明的技术效果。
实验采用CoCo数据集，该数据集是一个可以用来进行图像识别的数据集，包含80种图像分类，适用于目标检测、分割和图像描述。实验中联邦学习采用纵向联邦学习的方法。
将训练数据分别输入现有的联邦学习模型和基于本发明实施例方法训练获取的联邦学习模型中，并对其进行梯度恢复后，如图4和5所示，从图4中可以看出，在经过50轮和70轮迭代后，现有的联邦学习模型可以使得攻击者获得原始内容的部分信息；从图5中可以看出，经过70轮迭代后，基于本发明实施例方法训练获取的联邦学习模型可以使得攻击者无法获得有效信息。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，在联邦学习模型的训练过程中按照下述过程进行梯度更新，以对每个参与方的本地训练数据进行隐私保护：
区块链***接收每个参与方上传的第一梯度和第一哈希值；其中，第一梯度是每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练获取的；第一哈希值是根据第一梯度计算获取的；
对于每个第一梯度，所述区块链***计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
对于每个第一哈希值，所述区块链***以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述区块链***将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给中心服务器；
所述中心服务器根据所述噪声值和及添加噪声后的第一梯度计算平均梯度；根据平均梯度进行梯度更新。
2.根据权利要求1所述的一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，所述第一梯度的计算公式为：
Figure FDA0003972059340000011
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
3.根据权利要求2所述的一种基于区块链的抗联邦学***均梯度的计算公式为：
Figure FDA0003972059340000012
式中，N表示参与方的总数；▽Wi'表示添加噪声后的第一梯度；R表示噪声值和。
4.根据权利要求3所述的一种基于区块链的抗联邦学***均梯度进行梯度更新的公式为：
Figure FDA0003972059340000021
式中，η表示学习率。
5.一种基于区块链的抗联邦学习梯度攻击的隐私保护***，其特征在于，包括多个参与方、中心服务器和区块链***；其中，所述多个参与方中的每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练，获取第一梯度；并根据第一梯度计算获取第一哈希值；将第一梯度和第一哈希值上传至所述区块链***；
所述区块链***包括添加噪声智能合约模块、共享噪声值智能合约模块、噪声和智能合约模块；其中，
所述添加噪声智能合约模块用于：接收每个参与方上传的第一梯度和第一哈希值；对于每个第一梯度，计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
所述共享噪声值智能合约模块用于：对于每个第一哈希值，以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
所述噪声和智能合约模块用于：将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给所述中心服务器；
所述中心服务器用于根据所述噪声值和及添加噪声后的第一梯度计算平均梯度，并根据平均梯度进行梯度更新。
6.根据权利要求5所述的一种基于区块链的抗联邦学习梯度攻击的隐私保护***，其特征在于，所述第一梯度的计算公式为：
Figure FDA0003972059340000022
其中，Wt表示联邦学习模型的训练过程中第t轮的模型权重参数；xt,i，yt,i分别表示参与方i在第t轮的数据输入及对应的标签；F(·)表示输入数据在当前模型参数下的预测值；l(·)表示利用预测值与真实标签构造的损失函数。
7.根据权利要求6所述的一种基于区块链的抗联邦学***均梯度的计算公式为：
Figure FDA0003972059340000023
式中，N表示参与方的总数；▽Wi'表示添加噪声后的第一梯度；R表示噪声值和。
8.根据权利要求7所述的一种基于区块链的抗联邦学***均梯度进行梯度更新的公式为：
Figure FDA0003972059340000031
式中，η表示学习率。
CN202211516395.1A 2022-11-30 2022-11-30 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及*** Pending CN116340986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211516395.1A CN116340986A (zh) 2022-11-30 2022-11-30 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211516395.1A CN116340986A (zh) 2022-11-30 2022-11-30 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***

Publications (1)

Publication Number Publication Date
CN116340986A true CN116340986A (zh) 2023-06-27

Family

ID=86888188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211516395.1A Pending CN116340986A (zh) 2022-11-30 2022-11-30 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***

Country Status (1)

Country Link
CN (1) CN116340986A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828453A (zh) * 2023-06-30 2023-09-29 华南理工大学 基于自适应非线性函数的无人机边缘计算隐私保护方法
CN117892339A (zh) * 2023-12-28 2024-04-16 暨南大学 一种基于区块链的高可信度联合模型训练方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828453A (zh) * 2023-06-30 2023-09-29 华南理工大学 基于自适应非线性函数的无人机边缘计算隐私保护方法
CN116828453B (zh) * 2023-06-30 2024-04-16 华南理工大学 基于自适应非线性函数的无人机边缘计算隐私保护方法
CN117892339A (zh) * 2023-12-28 2024-04-16 暨南大学 一种基于区块链的高可信度联合模型训练方法及***

Similar Documents

Publication Publication Date Title
CN111639361B (zh) 一种区块链密钥管理方法、多人共同签名方法及电子装置
CN110892396B (zh) 用于在网络内高效地实现分布式数据库的方法和设备
Bonawitz et al. Practical secure aggregation for privacy-preserving machine learning
Elkordy et al. HeteroSAg: Secure aggregation with heterogeneous quantization in federated learning
CN116340986A (zh) 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及***
CN114254386B (zh) 基于层次聚合和区块链的联邦学习隐私保护***及方法
Hao et al. Efficient, private and robust federated learning
CN115549888A (zh) 一种基于区块链与同态加密的联邦学习隐私保护方法
CN109347829B (zh) 一种基于隐私保护的群智感知网络真值发现方法
WO2024093426A1 (zh) 基于联邦机器学习的模型训练方法和装置
Wazid et al. BUAKA-CS: Blockchain-enabled user authentication and key agreement scheme for crowdsourcing system
CN114363043B (zh) 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法
CN115442050B (zh) 一种基于sm9算法的隐私保护的联邦学习方法
Li et al. SPFM: Scalable and privacy-preserving friend matching in mobile cloud
CN111581648B (zh) 在不规则用户中保留隐私的联邦学习的方法
CN110737915A (zh) 基于联盟链和隐式证书的抗量子计算匿名身份识别方法及***
CN117421762A (zh) 基于差分隐私和同态加密的联邦学习隐私保护方法
CN116800488A (zh) 基于区块链的群组协作隐私博弈方法
Zhang et al. Privacyeafl: Privacy-enhanced aggregation for federated learning in mobile crowdsensing
CN117077192B (zh) 一种隐私保护的联邦学习中搭便车攻击防御方法及装置
Zhou et al. A Scalable Blockchain‐Based Integrity Verification Scheme
CN111737337A (zh) 基于数据隐私保护的多方数据转换方法、装置及***
CN116861994A (zh) 一种抗拜占庭攻击的隐私保护联邦学习方法
Wang et al. FRNet: An MCS framework for efficient and secure data sensing and privacy protection in IoVs
CN116506154A (zh) 安全可验证的联邦学习方案

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination