CN111091199A - 一种基于差分隐私的联邦学习方法、装置及存储介质 - Google Patents
一种基于差分隐私的联邦学习方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111091199A CN111091199A CN201911335678.4A CN201911335678A CN111091199A CN 111091199 A CN111091199 A CN 111091199A CN 201911335678 A CN201911335678 A CN 201911335678A CN 111091199 A CN111091199 A CN 111091199A
- Authority
- CN
- China
- Prior art keywords
- model
- parameter
- user side
- privacy
- differential privacy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 117
- 238000013136 deep learning model Methods 0.000 claims abstract description 51
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 238000012935 Averaging Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于差分隐私的联邦学***均化,得到第三模型参数,并将所述第三模型参数下发至所述用户端;S3、将步骤S1~S2的执行总次数作为模型训练轮次,并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2,反之结束模型训练。本发明能够保障数据隐私安全,并提高训练模型的精确度。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于差分隐私的联邦学习方法、装置及存储介质。
背景技术
目前,大多数用户比如企业或机构等都想要联合其他用户的数据协同训练AI模型,出于数据隐私保护和安全的考虑,各个用户无法直接进行数据交换,难以实现跨用户协同训练AI模型。而应用Google提出的联邦学习方法可解决上述问题。
联邦学习在用户各自数据不出本地的前提下,通过加密机制或扰动机制下的参数交换与优化,建立一个共有模型。这要求用户用自身数据训练得到用户模型,并将用户模型的模型参数上传至服务器,由服务器根据多个用户上传的模型参数进行模型优化后基于差分隐私进行数据隐私保护,建立一个共有模型。
但在现有的联邦学习方法中,仍存在以下技术难点:
1、用户将模型参数直接上传至服务器,使得模型参数暴露在数据传输通道及服务器中,无法充分保障数据隐私安全;
2、数据量较大或数据量较小的用户均使用相同的模型构建方法和训练轮次,难以保证模型的精确度;
3、差分隐私随机梯度下降算法(DP-SGD)和自适应的Laplace机制(AdLM)等差分隐私深度学习算法给模型加入的噪音较大且较为固定,难以针对不同的训练过程优化调整噪音,难以保证模型的精确度。
发明内容
本发明提供一种基于差分隐私的联邦学习方法、装置及存储介质,以克服现有的联邦学习方法面对的技术难点,本发明能够保障数据隐私安全,并提高训练模型的精确度。
为了解决上述技术问题,本发明一实施例提供一种基于差分隐私的联邦学习方法,包括:
S1、将预设的第一模型参数下发至用户端,使所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数;其中,所述第一模型参数包括隐私预算;
S2、对所述第二模型参数进行参数平均化,得到第三模型参数,并将所述第三模型参数下发至所述用户端;
S3、将步骤S1~S2的执行总次数作为模型训练轮次,并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2,反之结束模型训练。
进一步地,所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数,包括:
所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
进一步地,所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数,包括:
将所述隐私预算随机分为最优步长参数和噪音梯度参数;其中,所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小;
当剩余的所述隐私预算大于0时,沿梯度下降的方向更新所述用户端本地的深度学习模型,得到所述第二模型参数。
本发明另一实施例提供一种基于差分隐私的联邦学习装置,包括:
第一模型参数下发模块,用于将预设的第一模型参数下发至用户端,使所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数;其中,所述第一模型参数包括隐私预算;
第三模型参数下发模块,用于对所述第二模型参数进行参数平均化,得到第三模型参数,并将所述第三模型参数下发至所述用户端;
模型训练轮次判断模块,用于将上述下发模块的执行总次数作为模型训练轮次,并当所述模型训练轮次未达到预设阈值时重复执行上述下发模块,反之结束模型训练。
进一步地,所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数,包括:
所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
进一步地,所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数,包括:
将所述隐私预算随机分为最优步长参数和噪音梯度参数;其中,所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小;
当剩余的所述隐私预算大于0时,沿梯度下降的方向更新所述用户端本地的深度学习模型,得到所述第二模型参数。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于差分隐私的联邦学习方法。
本发明的实施例,具有如下有益效果:
通过将预设的第一模型参数,包括隐私预算下发至用户端,使用户端可根据第一模型参数,基于差分隐私技术更新用户端本地的深度学***均化,向用户端下发得到的第三模型参数。同时,将上述操作作为一轮模型训练,通过累计模型训练轮次,在模型训练轮次未达到预设阈值时重复执行上述操作,反之结束模型训练。本发明通过使各个用户端基于差分隐私技术更新其本地的深度学***均化,能够对第二模型参数进行整合得到第三模型参数,使用户端根据第三模型参数进行下一轮模型训练,有利于提高训练模型的精确度;通过对模型训练轮次设置阈值,使得只有当模型训练轮次达到预设阈值时才结束模型训练,有利于进一步提高训练模型的精确度。
附图说明
图1为本发明第一实施例中的一种基于差分隐私的联邦学习方法的流程示意图;
图2为本发明第一实施例中的基于差分隐私的联邦学习框架的结构示意图;
图3为本发明第一实施例中的差分隐私-卷积神经网络算法的流程示意图;
图4为本发明第二实施例中的一种基于差分隐私的联邦学习装置的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,文中的步骤编号,仅为了方便具体实施例的解释,不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行,且下文均以服务器作为执行主体为例进行说明。
第一实施例。请参阅图1-3。
如图1所示,第一实施例提供一种基于差分隐私的联邦学习方法,所述方法包括步骤S1~S3:
S1、将预设的第一模型参数下发至用户端,使用户端根据第一模型参数,基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数;其中,第一模型参数包括隐私预算。
S2、对第二模型参数进行参数平均化,得到第三模型参数,并将第三模型参数下发至用户端。
S3、将步骤S1~S2的执行总次数作为模型训练轮次,并当模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2,反之结束模型训练。
在步骤S1中,用户端根据服务器下发的第一模型参数,基于差分隐私技术更新用户端本地的深度学习模型,以向服务器返回第二模型参数,即用户端在上传第二模型参数之前已对第二模型参数进行差分隐私处理。差分隐私(differential privacy)是密码学中的一种手段,旨在提供一种当从统计数据库查询时,最大化数据查询的准确性,同时最大限度减少识别其记录的机会。本实施例先对第二模型参数进行差分隐私处理后再上传至服务器,能够避免第二模型参数直接暴露在数据传输过程和服务器中,有利于保障数据隐私安全。
其中,服务器可根据各个用户端的训练数据集数据量的大小预先设置隐私预算,使得用户端可根据相应的隐私预算,利用其训练数据集训练其本地的深度学***需设置较大的隐私预算;对于训练数据集数据量较大的用户端,因全局敏感性较小可设置较小的隐私预算。本实施例通过使不同数据量的用户端进行不同程度的差分隐私处理,有利于提高训练模型的精确度。
在步骤S2中,服务器对用户端上传的第二模型参数进行参数平均化,即整合该用户端多次训练其本地的深度学习模型得到的所有第二模型参数,有利于提高训练模型的精确度。
在步骤S3中,将步骤S1~S2的执行总次数作为模型训练轮次,并当模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2,相当于通过用户端和服务器不断交互用于训练模型的模型参数直至模型训练轮次达到预设阈值,有利于提高训练模型的精确度。
基于差分隐私的联邦学习框架如图2所示,以数据量不等的K个用户端进行联邦学习为例。
④服务器将经参数平均化的模型参数下发给子集Zt中的用户端,使接收到用户端进行下一轮模型训练。其中,子集Zt中的各个用户端收到的参数都相同。
本实施例通过将预设的第一模型参数,包括隐私预算下发至用户端,使用户端可根据第一模型参数,基于差分隐私技术更新用户端本地的深度学***均化,向用户端下发得到的第三模型参数。同时,将上述操作作为一轮模型训练,通过累计模型训练轮次,在模型训练轮次未达到预设阈值时重复执行上述操作,反之结束模型训练。
通过使各个用户端基于差分隐私技术更新其本地的深度学***均化,能够对第二模型参数进行整合得到第三模型参数,使用户端根据第三模型参数进行下一轮模型训练,有利于提高训练模型的精确度;通过对模型训练轮次设置阈值,使得只有当模型训练轮次达到预设阈值时才结束模型训练,有利于进一步提高训练模型的精确度。
在优选的实施例当中,用户端根据第一模型参数,基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数,包括用户端根据第一模型参数,通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数。
在本实施例的一种优选实施方式当中,所述用户端根据第一模型参数,通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数,包括:将隐私预算随机分为最优步长参数和噪音梯度参数;其中,最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小;当剩余的隐私预算大于0时,沿梯度下降的方向更新用户端本地的深度学习模型,得到第二模型参数。
差分隐私-卷积神经网络(DPAGD-CNN)算法的算法流程图如图3所示。
在本实施例中,第一模型参数包括损失函数、隐私预算、梯度裁剪阈值、预算增长率和训练数据集批大小。预算增长率表示最优步长参数和噪音梯度参数的变化速度。最优步长参数用于确定向模型参数添加的高斯噪声的大小,噪音梯度参数用于确定给梯度添加的高斯噪声的大小。模型/步长变更概率参数用于判断优化模型参数,还是优化最优步长参数和噪音梯度参数。
用户端在获取服务器下发的第一模型参数之后,将未由服务器分配的剩余差分隐私深度学习的过程参数进行初始化,比如对深度学习模型的模型参数随机赋初值,初始模型训练轮次为0。
用户端将隐私预算随机分为最优步长参数和噪音梯度参数,并判断剩余的隐私参数是否大于0。当剩余的隐私预算不大于0时,向服务器返回第二模型参数。
当剩余的隐私预算大于0时,初始化模型/步长变更概率参数为0,计算当前模型参数的梯度值,并依据梯度裁剪阈值进行裁剪,向裁剪后的梯度加入高斯噪音,以此减少隐私预算中相应的量,继而依据用户端的训练数据集中的最差数据(损失函数值最大),向模型/步长变更概率参数添加高斯噪声,以此减少隐私预算相应的量。
用户端判断模型/步长变更概率参数是否大于0。当模型/步长变更概率参数大于0时,在剩余的隐私预算不大于0时向服务器返回第二模型参数,在剩余的隐私预算大于0时更新优化自适应差分隐私卷积神经网络中的参数,并重新判断剩余的隐私预算是否大于0。
当模型/步长变更概率参数不大于0时,更新最优步长参数和噪音梯度参数,并重新判断剩余的隐私预算是否大于0。
在此过程中,最优步长参数越小,用户端数据越符合训练模型,用户端数据添加的高斯噪声分布越集中在大于0的部分,高斯噪音为负的概率越小,则进行最优步长参数、噪音梯度参数优化的概率也越小,反之则越大。
在用户端的模型更新中,应用具有自适应梯度下降的差分隐私-卷积神经网络(DPAGD-CNN)算法,即在深度学习模型的迭代训练过程中,通过自适应的方法给梯度加入不同大小的噪音,但总体不改变原有的差分隐私预算。在模型优化过程的开始,使用不容易影响梯度下降正确方向的较大的噪声值,随着模型的优化,梯度下降的方向变得精确,从而有利于提高训练模型的精确度。
第二实施例。请参阅图4。
如图4所示,第二实施例提供一种基于差分隐私的联邦学***均化,得到第三模型参数,并将第三模型参数下发至用户端;模型训练轮次判断模块23,用于将上述下发模块(21、22)的执行总次数作为模型训练轮次,并当模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22),反之结束模型训练。
通过第一模型参数下发模块21,使用户端根据服务器下发的第一模型参数,基于差分隐私技术更新用户端本地的深度学习模型,以向服务器返回第二模型参数,即用户端在上传第二模型参数之前已对第二模型参数进行差分隐私处理。差分隐私(differentialprivacy)是密码学中的一种手段,旨在提供一种当从统计数据库查询时,最大化数据查询的准确性,同时最大限度减少识别其记录的机会。本实施例通过第一模型参数下发模块21使用户端先对第二模型参数进行差分隐私处理后再上传至服务器,能够避免第二模型参数直接暴露在数据传输过程和服务器中,有利于保障数据隐私安全。
其中,服务器可根据各个用户端的训练数据集数据量的大小预先设置隐私预算,使得用户端可根据相应的隐私预算,利用其训练数据集训练其本地的深度学***需设置较大的隐私预算;对于训练数据集数据量较大的用户端,因全局敏感性较小可设置较小的隐私预算。本实施例通过使不同数据量的用户端进行不同程度的差分隐私处理,有利于提高训练模型的精确度。
通过第三模型参数下发模块22,由服务器对用户端上传的第二模型参数进行参数平均化,即整合该用户端多次训练其本地的深度学习模型得到的所有第二模型参数,有利于提高训练模型的精确度。
通过模型训练轮次判断模块23,将上述下发模块(21、22)的执行总次数作为模型训练轮次,并当模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22),相当于通过用户端和服务器不断交互用于训练模型的模型参数直至模型训练轮次达到预设阈值,有利于提高训练模型的精确度。
本实施例通过第一模型参数下发模块21将预设的第一模型参数,包括隐私预算下发至用户端,使用户端可根据第一模型参数,基于差分隐私技术更新用户端本地的深度学***均化,向用户端下发得到的第三模型参数。同时,通过模型训练轮次判断模块23将上述下发模块(21、22)执行的操作作为一轮模型训练,通过累计模型训练轮次,在模型训练轮次未达到预设阈值时重复执行上述下发模块(21、22),反之结束模型训练。
通过第一模型参数下发模块21使各个用户端基于差分隐私技术更新其本地的深度学***均化,能够对第二模型参数进行整合得到第三模型参数,使用户端根据第三模型参数进行下一轮模型训练,有利于提高训练模型的精确度;通过模型训练轮次判断模块23对模型训练轮次设置阈值,使得只有当模型训练轮次达到预设阈值时才结束模型训练,有利于进一步提高训练模型的精确度。
在优选的实施例当中,所述用户端根据第一模型参数,基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数,包括用户端根据第一模型参数,通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数。
在优选的实施例当中,所述用户端根据第一模型参数,通过差分隐私-卷积神经网络算法更新用户端本地的深度学习模型并返回第二模型参数,包括:将隐私预算随机分为最优步长参数和噪音梯度参数;其中,最优步长参数和噪音梯度参数均用于确定添加的高斯噪音的大小;当剩余的隐私预算大于0时,沿梯度下降的方向更新用户端本地的深度学习模型,得到第二模型参数。
差分隐私-卷积神经网络(DPAGD-CNN)算法的算法流程具体如下。
在本实施例中,第一模型参数包括损失函数、隐私预算、梯度裁剪阈值、预算增长率和训练数据集批大小。预算增长率表示最优步长参数和噪音梯度参数的变化速度。最优步长参数用于确定向模型参数添加的高斯噪声的大小,噪音梯度参数用于确定给梯度添加的高斯噪声的大小。模型/步长变更概率参数用于判断优化模型参数,还是优化最优步长参数和噪音梯度参数。
用户端在获取服务器下发的第一模型参数之后,将未由服务器分配的剩余差分隐私深度学习的过程参数进行初始化,比如对深度学习模型的模型参数随机赋初值,初始模型训练轮次为0。
用户端将隐私预算随机分为最优步长参数和噪音梯度参数,并判断剩余的隐私参数是否大于0。当剩余的隐私预算不大于0时,向服务器返回第二模型参数。
当剩余的隐私预算大于0时,初始化模型/步长变更概率参数为0,计算当前模型参数的梯度值,并依据梯度裁剪阈值进行裁剪,向裁剪后的梯度加入高斯噪音,以此减少隐私预算中相应的量,继而依据用户端的训练数据集中的最差数据(损失函数值最大),向模型/步长变更概率参数添加高斯噪声,以此减少隐私预算相应的量。
用户端判断模型/步长变更概率参数是否大于0。当模型/步长变更概率参数大于0时,在剩余的隐私预算不大于0时向服务器返回第二模型参数,在剩余的隐私预算大于0时更新优化自适应差分隐私卷积神经网络中的参数,并重新判断剩余的隐私预算是否大于0。
当模型/步长变更概率参数不大于0时,更新最优步长参数和噪音梯度参数,并重新判断剩余的隐私预算是否大于0。
在此过程中,最优步长参数越小,用户端数据越符合训练模型,用户端数据添加的高斯噪声分布越集中在大于0的部分,高斯噪音为负的概率越小,则进行最优步长参数、噪音梯度参数优化的概率也越小,反之则越大。
在用户端的模型更新中,应用具有自适应梯度下降的差分隐私-卷积神经网络(DPAGD-CNN)算法,即在深度学习模型的迭代训练过程中,通过自适应的方法给梯度加入不同大小的噪音,但总体不改变原有的差分隐私预算。在模型优化过程的开始,使用不容易影响梯度下降正确方向的较大的噪声值,随着模型的优化,梯度下降的方向变得精确,从而有利于提高训练模型的精确度。
第三实施例。
第三实施例提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一实施例所述的基于差分隐私的联邦学习方法,并达到与之相同的有益效果。
综上所述,本发明的实施例具有如下有益效果:
通过将预设的第一模型参数,包括隐私预算下发至用户端,使用户端可根据第一模型参数,基于差分隐私技术更新用户端本地的深度学***均化,向用户端下发得到的第三模型参数。同时,将上述操作作为一轮模型训练,通过累计模型训练轮次,在模型训练轮次未达到预设阈值时重复执行上述操作,反之结束模型训练。本实施例通过使各个用户端基于差分隐私技术更新其本地的深度学***均化,能够对第二模型参数进行整合得到第三模型参数,使用户端根据第三模型参数进行下一轮模型训练,有利于提高训练模型的精确度;通过对模型训练轮次设置阈值,使得只有当模型训练轮次达到预设阈值时才结束模型训练,有利于进一步提高训练模型的精确度。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
Claims (7)
1.一种基于差分隐私的联邦学习方法,其特征在于,包括:
S1、将预设的第一模型参数下发至用户端,使所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数;其中,所述第一模型参数包括隐私预算;
S2、对所述第二模型参数进行参数平均化,得到第三模型参数,并将所述第三模型参数下发至所述用户端;
S3、将步骤S1~S2的执行总次数作为模型训练轮次,并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2,反之结束模型训练。
2.如权利要求1所述的基于差分隐私的联邦学习方法,其特征在于,所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数,包括:
所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
3.如权利要求2所述的基于差分隐私的联邦学习方法,其特征在于,所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数,包括:
将所述隐私预算随机分为最优步长参数和噪音梯度参数;其中,所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小;
当剩余的所述隐私预算大于0时,沿梯度下降的方向更新所述用户端本地的深度学习模型,得到所述第二模型参数。
4.一种基于差分隐私的联邦学习装置,其特征在于,包括:
第一模型参数下发模块,用于将预设的第一模型参数下发至用户端,使所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数;其中,所述第一模型参数包括隐私预算;
第三模型参数下发模块,用于对所述第二模型参数进行参数平均化,得到第三模型参数,并将所述第三模型参数下发至所述用户端;
模型训练轮次判断模块,用于将上述下发模块的执行总次数作为模型训练轮次,并当所述模型训练轮次未达到预设阈值时重复执行上述下发模块,反之结束模型训练。
5.如权利要求4所述的基于差分隐私的联邦学习装置,其特征在于,所述用户端根据所述第一模型参数,基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数,包括:
所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。
6.如权利要求5所述的基于差分隐私的联邦学习装置,其特征在于,所述用户端根据所述第一模型参数,通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数,包括:
将所述隐私预算随机分为最优步长参数和噪音梯度参数;其中,所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小;
当剩余的所述隐私预算大于0时,沿梯度下降的方向更新所述用户端本地的深度学习模型,得到所述第二模型参数。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3所述的基于差分隐私的联邦学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911335678.4A CN111091199B (zh) | 2019-12-20 | 2019-12-20 | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911335678.4A CN111091199B (zh) | 2019-12-20 | 2019-12-20 | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091199A true CN111091199A (zh) | 2020-05-01 |
CN111091199B CN111091199B (zh) | 2023-05-16 |
Family
ID=70396194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911335678.4A Active CN111091199B (zh) | 2019-12-20 | 2019-12-20 | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091199B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723404A (zh) * | 2020-08-21 | 2020-09-29 | 支付宝(杭州)信息技术有限公司 | 联合训练业务模型的方法及装置 |
CN111783630A (zh) * | 2020-06-29 | 2020-10-16 | 上海高德威智能交通***有限公司 | 一种数据处理方法、装置及设备 |
CN111866869A (zh) * | 2020-07-07 | 2020-10-30 | 兰州交通大学 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
CN112333216A (zh) * | 2021-01-07 | 2021-02-05 | 索信达(北京)数据技术有限公司 | 一种基于联邦学习的模型训练方法及*** |
CN112329052A (zh) * | 2020-10-26 | 2021-02-05 | 哈尔滨工业大学(深圳) | 一种模型隐私保护方法及装置 |
CN112541592A (zh) * | 2020-12-06 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的联邦学习方法、装置及电子设备 |
CN112668044A (zh) * | 2020-12-21 | 2021-04-16 | 中国科学院信息工程研究所 | 面向联邦学习的隐私保护方法及装置 |
CN112733967A (zh) * | 2021-03-30 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 联邦学习的模型训练方法、装置、设备及存储介质 |
CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
CN112966298A (zh) * | 2021-03-01 | 2021-06-15 | 广州大学 | 一种复合隐私保护方法、***、计算机设备及存储介质 |
CN113127931A (zh) * | 2021-06-18 | 2021-07-16 | 国网浙江省电力有限公司信息通信分公司 | 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 |
CN113361694A (zh) * | 2021-06-30 | 2021-09-07 | 哈尔滨工业大学 | 一种应用差分隐私保护的分层联邦学习方法及*** |
CN113468592A (zh) * | 2021-06-15 | 2021-10-01 | 武汉理工大学 | 一种基于深度学习的差分隐私保护方法及装置 |
CN113626866A (zh) * | 2021-08-12 | 2021-11-09 | 中电积至(海南)信息技术有限公司 | 一种面向联邦学习的本地化差分隐私保护方法、***、计算机设备及存储介质 |
WO2022048143A1 (zh) * | 2020-09-04 | 2022-03-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于差分隐私的联邦声纹识别方法 |
CN114841364A (zh) * | 2022-04-14 | 2022-08-02 | 北京理工大学 | 一种满足个性化本地差分隐私需求的联邦学习方法 |
CN114841145A (zh) * | 2022-05-10 | 2022-08-02 | 平安科技(深圳)有限公司 | 文本摘要模型训练方法、装置、计算机设备及存储介质 |
CN115965093A (zh) * | 2021-10-09 | 2023-04-14 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN117933427A (zh) * | 2024-03-19 | 2024-04-26 | 南京邮电大学 | 一种智能电网双重采样优化的差分隐私联邦学习方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
CN108763954A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 线性回归模型多维高斯差分隐私保护方法、信息安全*** |
CN109492420A (zh) * | 2018-12-28 | 2019-03-19 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、***及介质 |
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110443063A (zh) * | 2019-06-26 | 2019-11-12 | 电子科技大学 | 自适性保护隐私的联邦深度学习的方法 |
-
2019
- 2019-12-20 CN CN201911335678.4A patent/CN111091199B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
CN108763954A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 线性回归模型多维高斯差分隐私保护方法、信息安全*** |
CN109492420A (zh) * | 2018-12-28 | 2019-03-19 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、***及介质 |
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110443063A (zh) * | 2019-06-26 | 2019-11-12 | 电子科技大学 | 自适性保护隐私的联邦深度学习的方法 |
Non-Patent Citations (1)
Title |
---|
黄茜茜 等: "基于差分隐私的社交网络隐私保护" * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783630A (zh) * | 2020-06-29 | 2020-10-16 | 上海高德威智能交通***有限公司 | 一种数据处理方法、装置及设备 |
WO2022001092A1 (zh) * | 2020-06-29 | 2022-01-06 | 上海高德威智能交通***有限公司 | 一种数据处理方法、装置及设备 |
CN111783630B (zh) * | 2020-06-29 | 2022-07-01 | 上海高德威智能交通***有限公司 | 一种数据处理方法、装置及设备 |
CN111866869A (zh) * | 2020-07-07 | 2020-10-30 | 兰州交通大学 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
CN111866869B (zh) * | 2020-07-07 | 2023-06-23 | 兰州交通大学 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
CN111723404A (zh) * | 2020-08-21 | 2020-09-29 | 支付宝(杭州)信息技术有限公司 | 联合训练业务模型的方法及装置 |
WO2022048143A1 (zh) * | 2020-09-04 | 2022-03-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于差分隐私的联邦声纹识别方法 |
CN112329052B (zh) * | 2020-10-26 | 2024-08-06 | 哈尔滨工业大学(深圳) | 一种模型隐私保护方法及装置 |
CN112329052A (zh) * | 2020-10-26 | 2021-02-05 | 哈尔滨工业大学(深圳) | 一种模型隐私保护方法及装置 |
CN112541592A (zh) * | 2020-12-06 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的联邦学习方法、装置及电子设备 |
CN115081640A (zh) * | 2020-12-06 | 2022-09-20 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的联邦学习方法、装置及电子设备 |
CN112668044A (zh) * | 2020-12-21 | 2021-04-16 | 中国科学院信息工程研究所 | 面向联邦学习的隐私保护方法及装置 |
CN112668044B (zh) * | 2020-12-21 | 2022-04-12 | 中国科学院信息工程研究所 | 面向联邦学习的隐私保护方法及装置 |
CN112333216B (zh) * | 2021-01-07 | 2021-04-06 | 深圳索信达数据技术有限公司 | 一种基于联邦学习的模型训练方法及*** |
CN112333216A (zh) * | 2021-01-07 | 2021-02-05 | 索信达(北京)数据技术有限公司 | 一种基于联邦学习的模型训练方法及*** |
CN112966298A (zh) * | 2021-03-01 | 2021-06-15 | 广州大学 | 一种复合隐私保护方法、***、计算机设备及存储介质 |
CN112966298B (zh) * | 2021-03-01 | 2022-02-22 | 广州大学 | 一种复合隐私保护方法、***、计算机设备及存储介质 |
CN112733967A (zh) * | 2021-03-30 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 联邦学习的模型训练方法、装置、设备及存储介质 |
CN112733967B (zh) * | 2021-03-30 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 联邦学习的模型训练方法、装置、设备及存储介质 |
CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
CN112949837B (zh) * | 2021-04-13 | 2022-11-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
CN113468592B (zh) * | 2021-06-15 | 2022-05-17 | 武汉理工大学 | 一种基于深度学习的差分隐私保护方法及装置 |
CN113468592A (zh) * | 2021-06-15 | 2021-10-01 | 武汉理工大学 | 一种基于深度学习的差分隐私保护方法及装置 |
CN113127931A (zh) * | 2021-06-18 | 2021-07-16 | 国网浙江省电力有限公司信息通信分公司 | 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 |
CN113127931B (zh) * | 2021-06-18 | 2021-09-03 | 国网浙江省电力有限公司信息通信分公司 | 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法 |
CN113361694B (zh) * | 2021-06-30 | 2022-03-15 | 哈尔滨工业大学 | 一种应用差分隐私保护的分层联邦学习方法及*** |
CN113361694A (zh) * | 2021-06-30 | 2021-09-07 | 哈尔滨工业大学 | 一种应用差分隐私保护的分层联邦学习方法及*** |
CN113626866B (zh) * | 2021-08-12 | 2023-10-13 | 积至(海南)信息技术有限公司 | 一种面向联邦学习的本地化差分隐私保护方法、***、计算机设备及存储介质 |
CN113626866A (zh) * | 2021-08-12 | 2021-11-09 | 中电积至(海南)信息技术有限公司 | 一种面向联邦学习的本地化差分隐私保护方法、***、计算机设备及存储介质 |
CN115965093A (zh) * | 2021-10-09 | 2023-04-14 | 北京字节跳动网络技术有限公司 | 模型训练方法、装置、存储介质及电子设备 |
CN114841364A (zh) * | 2022-04-14 | 2022-08-02 | 北京理工大学 | 一种满足个性化本地差分隐私需求的联邦学习方法 |
CN114841364B (zh) * | 2022-04-14 | 2024-06-14 | 北京理工大学 | 一种满足个性化本地差分隐私需求的联邦学习方法 |
CN114841145B (zh) * | 2022-05-10 | 2023-07-11 | 平安科技(深圳)有限公司 | 文本摘要模型训练方法、装置、计算机设备及存储介质 |
CN114841145A (zh) * | 2022-05-10 | 2022-08-02 | 平安科技(深圳)有限公司 | 文本摘要模型训练方法、装置、计算机设备及存储介质 |
CN117933427A (zh) * | 2024-03-19 | 2024-04-26 | 南京邮电大学 | 一种智能电网双重采样优化的差分隐私联邦学习方法 |
CN117933427B (zh) * | 2024-03-19 | 2024-05-28 | 南京邮电大学 | 一种智能电网双重采样优化的差分隐私联邦学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111091199B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091199A (zh) | 一种基于差分隐私的联邦学习方法、装置及存储介质 | |
CN113469325B (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
CN114841364B (zh) | 一种满足个性化本地差分隐私需求的联邦学习方法 | |
CN113112027A (zh) | 一种基于动态调整模型聚合权重的联邦学习方法 | |
CN113988314B (zh) | 一种选择客户端的分簇联邦学习方法及*** | |
CN110856268B (zh) | 一种无线网络动态多信道接入方法 | |
CN110661727B (zh) | 数据传输优化方法、装置、计算机设备和存储介质 | |
CN110968426A (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
CN113691594B (zh) | 一种基于二阶导数解决联邦学***衡问题的方法 | |
CN115204416A (zh) | 基于分层抽样优化的面向异构客户端的联合学习方法 | |
CN116050540B (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
CN112131206A (zh) | 一种多模型数据库OrientDB参数配置自动调优方法 | |
CN115374853A (zh) | 基于T-Step聚合算法的异步联邦学习方法及*** | |
CN114169543A (zh) | 一种基于模型陈旧性与用户参与度感知的联邦学习算法 | |
CN111343006B (zh) | 一种cdn峰值流量预测方法、装置及存储介质 | |
CN116050509A (zh) | 基于动量梯度下降的聚类联邦学习方法 | |
CN115481441A (zh) | 面向联邦学习的差分隐私保护方法及装置 | |
CN103578274B (zh) | 一种交通流预测方法及装置 | |
CN117252253A (zh) | 异步联邦边缘学习中的客户端选择和个性化隐私保护方法 | |
CN116911382A (zh) | 资源有限联邦边缘学习中的异步聚合与隐私保护方法 | |
CN115695429A (zh) | 面向Non-IID场景的联邦学习客户端选择方法 | |
US20230351153A1 (en) | Knowledge graph reasoning model, system, and reasoning method based on bayesian few-shot learning | |
CN115577797A (zh) | 一种基于本地噪声感知的联邦学习优化方法及*** | |
CN117994635B (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及*** | |
CN113128706B (zh) | 一种基于标签量信息的联邦学习节点选择方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |