CN113591145B - 基于差分隐私和量化的联邦学习全局模型训练方法 - Google Patents

基于差分隐私和量化的联邦学习全局模型训练方法 Download PDF

Info

Publication number
CN113591145B
CN113591145B CN202110856897.8A CN202110856897A CN113591145B CN 113591145 B CN113591145 B CN 113591145B CN 202110856897 A CN202110856897 A CN 202110856897A CN 113591145 B CN113591145 B CN 113591145B
Authority
CN
China
Prior art keywords
local
model
local user
gradient
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110856897.8A
Other languages
English (en)
Other versions
CN113591145A (zh
Inventor
王子龙
周伊琳
陈谦
肖丹
王鸿波
陈嘉伟
刘蕴琪
安泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110856897.8A priority Critical patent/CN113591145B/zh
Publication of CN113591145A publication Critical patent/CN113591145A/zh
Application granted granted Critical
Publication of CN113591145B publication Critical patent/CN113591145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于差分隐私和量化的联邦学习全局模型训练方法，其步骤为：中央服务器下发预训练的联邦学习全局模型，生成每个本地用户的本地模型梯度，对每个本地用户的本地模型梯度依次进行添加噪声，阈值量化，压缩量化，将压缩量化后的本地模型梯度上传至中央服务器，中央服务器对上传的本地模型梯度进行加权聚合并更新全局模型后下发给每个本地用户，当每个本地用户的隐私预算值耗尽或者联邦学习全局模型收敛时结束训练。本发明的方法在不损失联邦学习全局模型精确度的前提下，保护了本地用户的隐私，降低了传输过程中的通信开销，提高了联邦学习全局模型的训练效率。

Description

基于差分隐私和量化的联邦学习全局模型训练方法
技术领域
本发明属于数据处理技术领域，更进一步涉及机器学习模型梯度数据处理技术领域中的一种基于差分隐私和量化的联邦学习全局模型训练方法。本发明可用来从分散在用户本地的数据中训练机器学习模型，并支持保护单个用户隐私，减小用户梯度数据的传输规模，最终达到降低传输过程的通信开销以提升联邦学习全局模型训练效率的目的。
背景技术
联邦学习允许用户在不集中存储数据的情况下共同获得一个共享的全局模型。具体地，用户利用本地数据在本地训练各自的本地模型，并将训练好的本地模型梯度数据上传给中央服务器，由中央服务器进行聚合并更新全局模型。整个训练过程中，用户的数据不会离开用户的本地设备。但是，联邦学习中存在着大量的本地用户和中央服务器之间的交互通信。因此，通信效率成为制约联邦学习发展的主要因素。如何降低单次通信开销和整体通信次数以提升联邦学习通信效率成为了发展联邦学习的关键问题。
Truex等人在其发表的论文“LDP-Fed：federated learning withlocaldifferential privacy”(EuroSys'20：Fifteenth EuroSys Conference 2020.)中提出了一种基于本地差分隐私的联邦学习模型训练方法。该方法的主要步骤是：(1)用户初始化本地模型和本地差分隐私模块，服务器生成初始模型参数并发送给每个用户；(2)用户进行本地训练，并计算训练梯度；(3)每个用户利用本地差分隐私对其梯度进行扰动；(4)将模型参数的更新匿名发送到随机选择的k个用户；(5)服务器等待接收随机选择的k个参数更新；(6)服务器对收到的参数更新进行聚合；(7)服务器更新模型参数，并将更新的值下发给用户；(8)用户进行本地模型更新并执行步骤(2)以开始下一次迭代。该方法存在的不足之处是：该方法中由于用户需要上传全部的本地模型梯度，由此占用了大量的存储空间，增加了传输过程中的通信开销。
之江实验室在其申请的专利文献“一种联邦学习模型训练方法、装置及联邦学习***”(申请号202011473442.X，申请公布号CN 112232528 A，公布日期2021.01.15)中提出了一种分区的联邦学习模型训练方法。该方法的主要步骤是：(1)一个边缘计算服务器与多个用户设备利用网络局部性的优势形成区域，用户依靠本地数据并采用截断的方式完成模型本地训练，边缘计算服务器负责所辖区域内用户的多轮更新并向云端联邦学习子***发送更新后的模型梯度信息；(2)边缘计算服务器也采用截断的方式完成本地模型训练，云端联邦学习子***负责多个边缘计算服务器的梯度更新；(3)训练到达收敛期时，分别对边缘计算服务器所辖区域内用户设备和云端联邦学习子***负责的多个边缘计算服务器实施截断节点的补偿，形成全局联邦学习模型。该方法存在的不足之处是：由于用户需要直接给边缘计算服务器上传模型梯度信息，由此诚实但好奇的边缘计算服务器可进行反推攻击，导致用户的隐私泄露；同时，由于用户需要将全部的本地模型梯度上传给边缘计算服务器，由此占用了大量的通信带宽，导致本地模型梯度在传输过程中的通信开销过大。因此，该方法不仅泄露了用户隐私而且增加了通信成本。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于差分隐私和量化的联邦学习全局模型训练方法，用于解决联邦学习中上传本地模型梯度时产生的隐私泄露、通信成本大和计算开销大的问题。
实现本发明目的的技术思路是：本发明通过差分隐私向本地用户的本地模型梯度中添加高斯噪声，从而保护了用户的隐私。差分隐私是一种用来抵御差分攻击的隐私保护技术。在联邦学习中，差分隐私是通过本地用户对本地模型梯度添加噪声，并将添加噪声后的本地模型梯度上传至中央服务器，使得中央服务器无法获取单个本地用户的本地模型梯度。该技术不仅只需较低的计算开销，而且保护了本地用户的隐私。同时，差分隐私对模型精确度的影响几乎可以忽略。因此，本发明通过差分隐私技术，在实现了对本地用户隐私数据的保护的同时大大降低了本地用户的计算开销。此外，本发明通过量化依次对本地用户的本地模型梯度进行阈值量化和压缩量化，从而降低了传输过程的通信成本，提高了联邦学习全局模型训练效率。量化是指将连续取值(或者大量可能的离散取值)的浮点型数值近似为有限多个(或较少的)离散值。在联邦学习中，通过对本地模型梯度中的参数值进行量化，使得在可接受范围内的精度损失中达到降低本地模型梯度规模，提高传输过程中的通信效率的目的。一般的量化方法包括阈值量化和压缩量化。阈值量化通过选取合适的阈值来提取出在每次训练中影响较显著的本地模型梯度中的参数值，从而控制本地模型梯度的上传规模，降低通信成本。压缩量化通过将本地模型梯度中的高精度参数值转换为低精度参数值，从而缩减传输成本，降低通信开销。因此，对本地模型梯度中的参数值进行量化可大大降低所需上传的本地模型梯度规模，减少通信开销，提高联邦学习全局模型训练的效率。
为实现上述目的，发明采用的技术方案包括如下步骤：
步骤1，中央服务器下发经过其预训练的联邦学习全局模型；
步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生成每个本地用户的本地模型梯度；
步骤3，对每个本地用户的本地模型梯度添加噪声：
(3a)计算每个本地用户符合差分隐私的高斯噪声尺度值；
(3b)为每个本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的噪声值，所有噪声值的均值为0，标准差为σ，σ是由噪声值分布进行概率统计得到的统计量；
(3c)为每个本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐私的高斯噪声值；
步骤4，对每个本地用户的添加噪声后的本地模型梯度进行阈值量化：
(4a)将每个本地用户的本地模型梯度中的大于零的参数值组成正参数集合，小于零的参数值组成负参数集合；
(4b)利用阈值计算方法，计算每个本地用户的正参数阈值和负参数阈值；
(4c)将每个本地用户的添加噪声后的本地模型梯度中，所有符合阈值选取条件的参数值组成阈值量化后的本地模型梯度；
步骤5，利用压缩公式，对每个本地用户的阈值量化后的本地模型梯度进行压缩量化；
步骤6，将每个本地用户的压缩量化后的本地模型梯度上传至中央服务器；
步骤7，利用聚合公式，中央服务器对上传的本地模型梯度进行加权聚合获得全局模型梯度；
步骤8，利用更新公式，中央服务器用全局模型梯度更新当前迭代的联邦学习全局模型中的参数值；
步骤9，将中央服务器更新后的联邦学习全局模型中的参数值下发给每个本地用户；
步骤10，判断每个本地用户是否满足训练终止条件，若是，则执行步骤11,否则，执行步骤2；
步骤11，结束训练。
本发明与现有技术相比具有如下优点：
第一，本发明对每个本地用户的本地模型梯度添加噪声来保护本地用户隐私，由于添加噪声操作的计算开销较小，克服了现有技术存在的保护用户隐私的计算开销过大的问题，使得本发明在保证训练后的联邦学习全局模型精确度的前提下，不仅保护了本地用户隐私而且降低了用于保护隐私的计算开销。
第二，本发明通过对每个本地用户的添加噪声后的本地模型梯度进行阈值量化，提取在每次训练中影响较显著的本地模型梯度，由于阈值量化有效控制了上传数据的规模，克服了现有技术存在的本地用户在上传本地模型梯度时通信开销大的问题，使得本发明在对训练后的联邦学习全局模型精确度降低不大的前提下，降低了通信带宽，提高了通信效率。
第三，本发明对每个本地用户的阈值量化后的本地模型梯度进行压缩量化，降低了通信中所需要传输的本地模型梯度的规模，克服了现有技术存在的本地用户上传本地模型梯度中通信开销大的问题，使得本发明在达到所需全局模型精确度要求的前提下，降低了传输过程中通信成本，提高了整体联邦学习全局模型训练过程的效率。
附图说明
图1为本发明的流程图；
图2为本发明中采用的差分隐私的流程图；
图3为本发明中采用的阈值量化的流程图；
图4为本发明中采用的压缩量化的流程图。
具体实施方式
通常，联邦学习利用分布在用户本地的隐私数据进行分布式训练的方式获得一个具有良好预测能力的机器学习模型。具体来说，中央服务器通过聚合本地用户经过本地训练获得的本地模型梯度，获得更新联邦学习全局模型的全局模型梯度。然后，中央服务器使用该全局模型梯度和全局模型学习率对联邦学习全局模型进行更新。该联邦学习全局模型更新过程迭代进行，直到满足确定的训练终止条件。
下面结合附图和实施例对本发明做进一步的详细描述。
参照图1，对本发明的实现步骤做进一步的详细描述。
步骤1，中央服务器下发经过其预训练的联邦学习全局模型。
步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生成每个本地用户的本地模型梯度。
所述的每个本地用户的本地模型梯度是由多个参数值组成的数组，其中，数组中的每个参数值是每个本地用户利用其隐私数据对中央服务器下发的联邦学习全局模型中的参数值求偏导数后的数值。
步骤3，对每个本地用户的本地模型梯度添加噪声。
参照图2，对本发明实施例中一个本地用户的本地模型梯度添加噪声的过程做进一步的详细描述。
从步骤2所生成的所有本地用户的本地模型梯度中随机选取一个本地用户的本地模型梯度。
按照下式，计算所选的本地用户符合差分隐私的高斯噪声尺度值：
其中，σi表示所选的第i个本地用户符合差分隐私的高斯噪声尺度值，所述符合差分隐私的高斯噪声是指添加的噪声值符合高斯分布且能使本地模型参数符合差分隐私。Δfi表示所选的第i个本地用户的全局敏感度，所述全局敏感度是指添加噪声后本地模型梯度与未加噪声的本地模型梯度的欧式距离，εi表示中央服务器为所选的第i个本地用户设置的隐私预算值，In(·)表示以自然常数e为底的对数操作，δi表示所选的第i个本地用户获得未加噪声的本地模型梯度的概率。
为所选的本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的噪声值。所述符合高斯分布的噪声值是指为所有本地用户生成的所有噪声值的均值为0，标准差为σ，σ是由噪声值分布进行概率统计得到的统计量。
为所选的本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐私的高斯噪声值。所添加的噪声不仅保护了本地模型梯度，且在不会对最终获得的联邦学习全局模型的精确度产生较大不良影响。
输出所选的本地用户的添加噪声后的本地模型梯度。
步骤4，对每个本地用户的添加噪声后的本地模型梯度进行阈值量化。
参照图3，对本发明实施例中对步骤3中所选的本地用户的添加噪声后的本地模型梯度进行阈值量化的过程做进一步的详细描述。
将所选的本地用户的本地模型梯度中的大于零的参数值组成正参数集合，小于零的参数值组成负参数集合。
利用下述阈值计算方法，计算所选的本地用户的正参数阈值和负参数阈值，以便选取所需的参数值。其中，对正参数阈值和对负参数阈值的计算方法是类似的，具体如下：
第一步，将所选的本地用户的正梯度集合中的元素进行升序排序，将排序中的第个参数值作为正参数阈值，其中，/>表示向上取整操作，R表示[0,100]内的一个数值，*表示乘法操作，|·|表示取集合中元素个数的操作，P表示正参数集合。
第二步，将所选的本地用户的负梯度集合中的元素进行升序排序，将排序中的第个元素作为负梯度阈值，其中，N表示负参数集合。
将所选的本地用户的添加噪声后的本地模型梯度中，所有符合阈值选取条件的参数值组成阈值量化后的本地模型梯度。
判断所选的本地用户的添加噪声后的本地模型梯度中的参数值是否满足阈值选取条件。如果满足阈值选取条件，则将这些参数值组成阈值量化后的本地模型梯度执行步骤5。如果不满足阈值选取条件，则丢弃这些参数值。
所述的阈值选取条件指的是选取出大于正参数阈值的正参数值或者小于负参数阈值的负参数值。通过对本地模型梯度进行阈值量化，来控制本地模型梯度的上传数量，缩减了所需上传的本地模型梯度大小，降低了传输过程中的通信开销。
步骤5，利用下述压缩公式，对每个本地用户的阈值量化后的本地模型梯度进行压缩量化。
参照图4，对本发明实施例中对步骤4中所选的本地用户的阈值量化后的本地模型梯度进行压缩量化的过程做进一步的详细描述。
计算所选的本地用户的阈值量化后的本地模型梯度中的参数值的最小值amin和最大值amax。
利用下述压缩公式对所选的本地用户的阈值量化后的本地模型梯度中的每个参数值进行压缩。
其中，ai'表示所选的第i个本地用户的本地模型梯度中压缩量化后的参数值，表示向下取整操作，ai表示所选的第i个本地用户的本地模型梯度中未压缩的参数值，amin表示本地模型梯度中的参数值的最小值，amax表示本地模型梯度中的参数值的最大值。
输出所选的本地用户的压缩量化后的本地模型梯度。
压缩量化是通过将本地模型梯度中的参数值从32位浮点型数值转换为8位的整型数值来实现压缩功能。由于位数减少，其中的数据准确率会有一定损失，从而减缓了联邦学习全局模型的收敛速度。但相比于从32位到8位的75％的内存压缩以致75％左右的数据通信量压缩，联邦学习全局模型在收敛速度方面的影响几乎可以被抵消。
在压缩量化中，实际是将本地模型梯度中的参数值与预先给定的平移系数进行距离比较，之后根据放缩系数调整该距离，并在放缩过程中将本地模型梯度中的参数值从32位转换为8位。放缩系数和平移系数的大小将决定浮点型数值与整型数值之间的转换精度，不同的取值会带来不同的量化结果。量化系数应根据不同的需求选取合理的大小，并尽量降低量化对联邦学***移系数设置为amin。此外，由于压缩后将全部参数值都转化为了正值，这样会对联邦学习全局模型的后续训练产生一定负面影响。因此，通过将偏移量左移128位(将范围由[0,255]转换为[-128,127])的方式，在保证非对称量化优势的同时，抵消了全正值对后续训练带来的影响。
步骤6，将每个本地用户的压缩量化后的本地模型梯度上传至中央服务器。
步骤7，利用下述聚合公式，中央服务器对上传的本地模型梯度进行加权聚合获得全局模型梯度：
其中，表示第t次迭代的全局模型梯度，∑表示求和操作，n表示本地用户的总数，αi,t表示第t次迭代的第i个本地用户的本地模型梯度，Si表示第i个本地用户的隐私数据的总数，i＝1,2…,n。
由于本地用户的隐私数据量的分布不均衡会极大影响联邦学习全局模型的精确度，数据量小的本地模型梯度所占的权重较低，对联邦学习全局模型影响较小；数据量大的本地模型梯度所占的权重较高，对联邦学习全局模型影响较大。因此，该加权聚合方式通过综合各个本地用户训练得到的本地模型梯度，在一定程度上消除了本地用户的隐私数据量不均衡问题对模型精确度的影响，有利于联邦学习全局模型的优化。
步骤8，利用下述更新公式，中央服务器用全局模型梯度更新当前迭代的联邦学习全局模型中的参数值：
其中，θt表示第t次迭代后更新的联邦学习全局模型中的参数值，θt-1表示第t-1次迭代后更新的联邦学习全局模型中的参数值，表示第t-1次迭代的全局模型梯度，ηt-1表示第t-1次迭代的联邦学习全局模型学习率，该联邦学习全局模型学习率是在[0,1]内的一个数值。
步骤9，将中央服务器更新后的联邦学习全局模型中的参数值下发给每个本地用户。
步骤10，判断每个本地用户是否满足训练终止条件，若是，则执行步骤11,否则，执行步骤2。
所述的训练终止条件是指满足下述条件之一的情形：
条件1，每个本地用户的隐私预算值耗尽。
条件2，联邦学习全局模型收敛。
其中，由条件1可知，由于每个本地用户的隐私预算不同，每个本地用户的训练结束时间也不同，该条件对全局模型训练的效率也有一定程度的提高。
步骤11，结束训练。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel i5-10400 CPU，主频为2.90GHz，内存16GB。
本发明的仿真实验的软件平台为：Linux 64位发行版Linux Ubuntu 20.04操作***和python 3.6。
本发明仿真实验所使用的数据集为来自美国国家标准与技术研究所的MNIST手写识别图像数据集。该数据集是美国国家标准与技术研究所通过对250个人的手写数字内容进行处理后生成的。其中的参与者一半来自高中学生，另一半来自人口普查工作人员。该数据集共有70000条数据，包括60000条训练集数据和10000条测试集数据。每个样本都是一张28*28像素的灰度手写数字图片。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和四个现有技术(FL全局模型训练方法、LDP-FL全局模型训练方法、FedPAQ全局模型训练方法、FedGCQ全局模型训练方法)分别在MNIST数据集上进行全局模型训练，获得训练结果。仿真实验所模拟的场景是10个持有隐私数据的本地用户协同训练一个联邦学习全局模型。其中，隐私数据采用本仿真实验所设定的数据集，即来自MNIST数据集的不同样本各2500条。
在仿真实验中，采用的四个现有技术是指：
现有技术FL全局模型训练方法是指，Mcmahan等人在“Communication-EfficientLearning of Deep Networks from DecentralizedData.2016”中提出的联邦学习全局模型方法，简称FL全局模型训练方法。
现有技术LDP-Fed全局模型训练方法是指，Truex等人在“LDP-Fed:federatedlearning with local differential privacy.EuroSys'20:FifteenthEuroSys Conference2020.2020”中提出的联邦学习全局模型训练方法，简称LDP-Fed全局模型训练方法。
现有技术FedPAQ全局模型训练方法是指，Reisizadeh等人在“FedPAQ:ACommunication-Efficient Federated Learning Method with Periodic AveragingandQuantization.AISTATS 2020.2020”中提出的联邦学习全局模型训练方法，简称FedPAQ全局模型训练方法。
现有技术FedGCQ全局模型训练方法是指，Sun等人在“AdaptiveFederatedLearning With Gradient Compression in UplinkNOMA.2020”中提出的联邦学习全局模型训练方法，简称FedGCQ全局模型训练方法。
利用四个评价指标(噪声扰动时间、模型量化时间、模型聚合时间和上传数据规模)分别对五种方法的联邦学习全局模型训练结果进行评价。将所有结果绘制成表1。
表1.仿真实验中本发明和各现有技术训练结果的定量分析表
表1中的噪声扰动时间是指对一个本地用户的本地模型梯度中的所有参数值生成及添加符合高斯分布的噪声的时间。模型量化时间是指对一个本地用户的本地模型梯度进行阈值量化或压缩量化的时间。模型聚合时间是指10个本地用户迭代一次聚合联邦学习全局模型训练方法的时间。上传数据规模是指一个本地用户上传的待聚合的本地模型梯度大小。其中，噪声扰动时间、模型量化时间和上传数据规模中所述的一个本地用户是同一个本地用户。
表1中的本发明仿真实验采用对本地模型梯度中的每个参数值添加符合高斯分布的噪声的方式来实现差分隐私，采用R＝52选取阈值来实现阈值量化，通过对本地模型梯度中的每个参数值进行非对称的压缩方式来实现压缩量化。
结合表1可以看出，最基本的FL全局模型训练方法由于没有差分隐私和量化的操作，每个本地用户上传全部的原始本地模型梯度，即上传全部的数据规模大小为79600B，且10个本地用户迭代一次进行聚合的时间为0.5286s。LDP-Fed全局模型训练方法基于本地差分隐私向本地模型梯度中添加噪声，该操作所需时间为0.0035s。由于该操作未改变本地模型梯度规模，10个本地用户迭代一次进行聚合的时间为0.5696s，与FL全局模型训练方法的聚合时间相差不大。FedPAQ全局模型训练方法利用阈值量化对本地模型梯度规模进行缩减，即每个本地用户上传的数据规模大小为79600*0.4838B。其中阈值量化操作的时间为2.1555s，10个本地用户迭代一次进行聚合的时间为0.6803s。FedGCQ全局模型训练方法利用压缩量化对本地模型梯度规模进行缩减，即每个本地用户上传的数据规模大小为79600*0.2500B。其中压缩量化操作的时间为0.0032s，10个本地用户迭代一次进行聚合的时间为0.6389s。本发明方法使用差分隐私、阈值量化和压缩量化相结合的方式对本地模型梯度大大缩减，即每个本地用户上传的数据规模大小为79600*0.1208B。其中噪声扰动操作时间为0.0033s，阈值量化和压缩量化操作的时间为2.1645s，10个本地用户迭代一次进行聚合的时间为0.6616s。本发明在聚合计算开销不过大提升的情况下，有效保护了本地用户的隐私。同时，本发明所需上传的本地模型梯度规模最小，这大大降低了传输过程中的通信开销。证明本发明可以进行高效且隐私的联邦学习全局模型训练。
利用精确度指标分别对五种方法的联邦学习全局模型训练结果进行评价。将所有结果绘制成表2：
表2.仿真实验中本发明和各现有技术的训练后的全局模型精确度对比表
方法 FL LDP-FL FedPAQ FedGCQ 本发明方法
精确度 91.18％ 90.59％ 91.08％ 91.04％ 91.07％
表2中的精度是指10个本地用户协同进行联邦学习全局模型训练，并使全局模型最终收敛时的精确度值。
结合表2可以看出，最基本的FL全局模型训练方法最终收敛时可以获得91.18％的精确度。LDP-Fed全局模型训练方法由于基于本地差分隐私向本地模型梯度中添加噪声，在不过分降低全局模型精确度的情况下，保护了本地用户的隐私。FedPAQ全局模型训练方法和FedGCQ全局模型训练方法通过对本地模型梯度进行量化，缩减了所需上传的本地模型梯度规模，提高了传输过程的通信效率。同时，对模型精确度影响较小。本发明方法结合了差分隐私、阈值量化和压缩量化的优越性，最终全局模型可以获得和FL全局模型训练方法几乎相同的精确度(91.07％)。本发明方法既保护了用户隐私，又降低了通信成本，提高了联邦学习全局模型训练的效率。证明本发明可以在模型精度几乎无损的情况下进行隐私保护且通信高效的联邦学习全局模型训练。
以上仿真实验表明：本发明方法利用本地差分隐私，阈值量化和压缩量化相结合的方法进行联邦学习全局模型训练，解决了现有技术方法中存在的隐私泄露、通信开销大以及训练效率低下的问题，是一种隐私保护且高效实用的联邦学习全局模型训练方法。

Claims (9)

1.一种基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于，本地用户基于差分隐私向本地模型梯度中添加高斯噪声，基于量化对添加噪声后的本地模型梯度依次进行阈值量化和压缩量化，该训练方法的步骤包括如下：
步骤1，中央服务器下发经过其预训练的联邦学习全局模型；
步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生成每个本地用户的本地模型梯度；
步骤3，对每个本地用户的本地模型梯度添加噪声：
(3a)计算每个本地用户符合差分隐私的高斯噪声尺度值；
(3b)为每个本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的噪声值，所有噪声值的均值为0，标准差为σ，σ是由噪声值分布进行概率统计得到的统计量；
(3c)为每个本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐私的高斯噪声值；
步骤4，对每个本地用户的添加噪声后的本地模型梯度进行阈值量化：
(4a)将每个本地用户的本地模型梯度中的大于零的参数值组成正参数集合，小于零的参数值组成负参数集合；
(4b)利用阈值计算方法，计算每个本地用户的正参数阈值和负参数阈值；
(4c)将每个本地用户的添加噪声后的本地模型梯度中，所有符合阈值选取条件的参数值组成阈值量化后的本地模型梯度；
步骤5，利用压缩公式，对每个本地用户的阈值量化后的本地模型梯度进行压缩量化；
步骤6，将每个本地用户的压缩量化后的本地模型梯度上传至中央服务器；
步骤7，利用聚合公式，中央服务器对上传的本地模型梯度进行加权聚合获得全局模型梯度；
步骤8，利用更新公式，中央服务器用全局模型梯度更新当前迭代的联邦学习全局模型中的参数值；
步骤9，将中央服务器更新后的联邦学习全局模型中的参数值下发给每个本地用户；
步骤10，判断每个本地用户是否满足训练终止条件，若是，则执行步骤11,否则，执行步骤2；
步骤11，结束训练。
2.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤2中所述的每个本地用户的本地模型梯度是由多个参数值组成的数组，其中，数组中的每个参数值是每个本地用户利用其隐私数据对中央服务器下发的联邦学习全局模型中的参数值求偏导数后的数值。
3.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤(3a)中所述的每个本地用户符合差分隐私的高斯噪声尺度值是由下式计算得到的：
其中，σi表示第i个本地用户符合差分隐私的高斯噪声尺度值，所述符合差分隐私的高斯噪声是指添加的噪声值符合高斯分布且能使本地模型参数符合差分隐私，Δfi表示第i个本地用户的全局敏感度，所述全局敏感度是指添加噪声后本地模型梯度与未加噪声的本地模型梯度的欧式距离，εi表示中央服务器为第i个本地用户设置的隐私预算值，In(·)表示以自然常数e为底的对数操作，δi表示第i个本地用户获得未加噪声的本地模型梯度的概率。
4.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤(4b)中所述的阈值计算方法如下：
第一步，将每个本地用户的正梯度集合中的元素进行升序排序，将排序中的第个参数值作为正参数阈值，其中，/>表示向上取整操作，R表示[0,100]内的一个数值，*表示乘法操作，|·|表示取集合中元素个数的操作，P表示正参数集合；
第二步，将每个本地用户的负梯度集合中的元素进行升序排序，将排序中的第个元素作为负梯度阈值，其中，N表示负参数集合。
5.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤(4c)中所述的阈值选取条件指的是选取出大于正参数阈值的正参数值或者小于负参数阈值的负参数值。
6.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤5中所述的压缩公式如下：
其中，ai'表示第i个本地用户的本地模型梯度中压缩量化后的参数值，表示向下取整操作，ai表示第i个本地用户的本地模型梯度中未压缩的参数值，amin表示本地模型梯度中的参数值的最小值，amax表示本地模型梯度中的参数值的最大值。
7.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤7中所述的聚合公式如下：
其中，表示第t次迭代的全局模型梯度，∑表示求和操作，n表示本地用户的总数，αi,t表示第t次迭代的第i个本地用户的本地模型梯度，Si表示第i个本地用户的隐私数据的总数，i＝1,2…,n。
8.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤8中所述的更新公式如下：
其中，θt表示第t次迭代后更新的联邦学习全局模型中的参数值，θt-1表示第t-1次迭代后更新的联邦学习全局模型中的参数值，表示第t-1次迭代的全局模型梯度，ηt-1表示第t-1次迭代的联邦学习全局模型学习率，该联邦学习全局模型学习率是在[0,1]内的一个数值。
9.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征在于：步骤10中所述的训练终止条件是指满足下述条件之一的情形：
条件1，每个本地用户的隐私预算值耗尽；
条件2，联邦学习全局模型收敛。
CN202110856897.8A 2021-07-28 2021-07-28 基于差分隐私和量化的联邦学习全局模型训练方法 Active CN113591145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856897.8A CN113591145B (zh) 2021-07-28 2021-07-28 基于差分隐私和量化的联邦学习全局模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856897.8A CN113591145B (zh) 2021-07-28 2021-07-28 基于差分隐私和量化的联邦学习全局模型训练方法

Publications (2)

Publication Number Publication Date
CN113591145A CN113591145A (zh) 2021-11-02
CN113591145B true CN113591145B (zh) 2024-02-23

Family

ID=78251355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856897.8A Active CN113591145B (zh) 2021-07-28 2021-07-28 基于差分隐私和量化的联邦学习全局模型训练方法

Country Status (1)

Country Link
CN (1) CN113591145B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118350051B (zh) * 2024-06-17 2024-08-23 江西省网络安全研究院(江西省工业和信息产品监督检验院、江西省保密科技测评中心) 一种基于联邦学习的隐私性提升方法、***、装置及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219094B (zh) * 2021-11-10 2024-03-19 华南理工大学 基于多任务联邦学习的通信成本和模型鲁棒性优化方法
CN114301573B (zh) * 2021-11-24 2023-05-23 超讯通信股份有限公司 联邦学习模型参数传输方法及***
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
CN116340959A (zh) * 2021-12-17 2023-06-27 新智我来网络科技有限公司 一种面向断点隐私保护的方法、装置、设备及介质
CN116362334A (zh) * 2021-12-22 2023-06-30 华为技术有限公司 智能模型的训练方法和装置
CN114331540B (zh) * 2021-12-29 2023-09-15 北京百度网讯科技有限公司 训练模型的方法、确定资产估值的方法和装置
CN114422605A (zh) * 2022-01-12 2022-04-29 重庆邮电大学 一种基于联邦学习的通信梯度自适应压缩方法
CN114595831B (zh) * 2022-03-01 2022-11-11 北京交通大学 融合自适应权重分配和个性化差分隐私的联邦学习方法
CN114662705A (zh) * 2022-03-18 2022-06-24 腾讯科技（深圳）有限公司 联邦学习方法、装置、电子设备和计算机可读存储介质
CN116882487A (zh) * 2022-03-25 2023-10-13 华为技术有限公司 信息处理方法和通信装置
CN114912605B (zh) * 2022-04-02 2024-07-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN115062320B (zh) * 2022-04-26 2024-04-26 西安电子科技大学 异步机制的隐私保护联邦学习方法、装置、介质及***
CN114827289B (zh) * 2022-06-01 2023-06-13 深圳大学 一种通信压缩方法、***、电子装置和存储介质
CN114943345B (zh) * 2022-06-10 2024-06-11 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法
CN115081002B (zh) * 2022-06-28 2024-05-14 西安电子科技大学 用于去中心化联邦学习的聚合服务器选择方法
CN115081532A (zh) * 2022-07-01 2022-09-20 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法
CN114997420B (zh) * 2022-08-03 2022-12-16 广州中平智能科技有限公司 基于分割学习和差分隐私融合的联邦学习***和方法
CN115017548B (zh) * 2022-08-04 2022-11-08 湖南工商大学 数据定价方法、装置及相关设备
CN115329987B (zh) * 2022-08-04 2023-07-21 苏州大学 一种联邦学习***中用户选择的方法
CN115907029B (zh) * 2022-11-08 2023-07-21 北京交通大学 面向联邦学习投毒攻击的防御方法及***
CN116128070B (zh) * 2023-01-10 2023-09-19 上海科技大学 基于无线空中计算和多比特量化压缩感知的联邦学习方法
CN115860789B (zh) * 2023-03-02 2023-05-30 国网江西省电力有限公司信息通信分公司 一种基于frl的ces日前调度方法
CN116070719B (zh) * 2023-03-20 2023-07-14 鹏城实验室 一种跨计算节点分布式训练高效通信方法及***
CN116148193B (zh) * 2023-04-18 2023-07-18 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116776155B (zh) * 2023-07-14 2024-03-29 深圳大学 一种基于联邦学习的模型训练方法、装置、设备和介质
CN117171814B (zh) * 2023-09-28 2024-06-04 数力聚(北京)科技有限公司 一种基于差分隐私的联邦学习模型完整性验证方法、***、设备及介质
CN118094638B (zh) * 2024-04-26 2024-07-26 国网福建省电力有限公司 基于双服务器串行安全联邦学习的工控入侵设备检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN112818394A (zh) * 2021-01-29 2021-05-18 西安交通大学 具有本地隐私保护的自适应异步联邦学习方法
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN113127931A (zh) * 2021-06-18 2021-07-16 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443240B2 (en) * 2019-09-06 2022-09-13 Oracle International Corporation Privacy preserving collaborative learning with domain adaptation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN112818394A (zh) * 2021-01-29 2021-05-18 西安交通大学 具有本地隐私保护的自适应异步联邦学习方法
CN113127931A (zh) * 2021-06-18 2021-07-16 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于秘密分享和梯度选择的高效安全联邦学习;董业;侯炜;陈小军;曾帅;;计算机研究与发展;20201009(第10期);全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118350051B (zh) * 2024-06-17 2024-08-23 江西省网络安全研究院(江西省工业和信息产品监督检验院、江西省保密科技测评中心) 一种基于联邦学习的隐私性提升方法、***、装置及介质

Also Published As

Publication number Publication date
CN113591145A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113591145B (zh) 基于差分隐私和量化的联邦学习全局模型训练方法
US20190355152A1 (en) Point cloud attribute compression method based on kd tree and optimized graph transformation
CN110084365B (zh) 一种基于深度学习的服务提供***及方法
WO2017185412A1 (zh) 一种支持较少位数定点数的神经网络运算的装置和方法
CN109523013B (zh) 基于浅层卷积神经网络的空气颗粒物污染程度估计方法
WO2021129145A1 (zh) 一种图像特征点过滤方法以及终端
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及***
CN116739079B (zh) 一种自适应的隐私保护联邦学习方法
CN111598786B (zh) 一种基于深度去噪自编码网络的高光谱图像解混方法
CN115081532A (zh) 基于记忆重放和差分隐私的联邦持续学习训练方法
WO2023088314A1 (zh) 对象分类方法、装置、设备及存储介质
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN114972753B (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及***
CN113691594A (zh) 一种基于二阶导数解决联邦学***衡问题的方法
CN114385376A (zh) 一种异构数据下边缘侧联邦学习的客户端选择方法
CN110647977B (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
CN113660113A (zh) 面向分布式机器学习的自适应稀疏参数模型设计与量化传输方法
CN116343157A (zh) 一种道路路面裂缝深度学习提取方法
CN113343796B (zh) 一种基于知识蒸馏的雷达信号调制方式识别方法
CN110909303A (zh) 一种自适应时空异质性反距离插值方法
CN116128070B (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
CN107832805B (zh) 一种基于概率位置模型消除空间位置误差对遥感软分类精度评价影响的技术
CN116167456A (zh) 一种基于编码对比和分类矫正的联邦学习方法
CN115438753A (zh) 一种基于生成的衡量联邦学习协议数据安全性的方法
CN104320659A (zh) 背景建模方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant