CN111260061B - 联邦学习梯度交换中的差异化加噪方法及*** - Google Patents
联邦学习梯度交换中的差异化加噪方法及*** Download PDFInfo
- Publication number
- CN111260061B CN111260061B CN202010157458.3A CN202010157458A CN111260061B CN 111260061 B CN111260061 B CN 111260061B CN 202010157458 A CN202010157458 A CN 202010157458A CN 111260061 B CN111260061 B CN 111260061B
- Authority
- CN
- China
- Prior art keywords
- gradient
- data
- representing
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种联邦学习梯度交换中的差异化加噪方法、介质及***,其中方法包括:多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;中心服务器对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;能够提高联邦学习的数据交换过程中隐私的保护强度,同时,相较于传统联邦学习中加密算法,可以降低数据传输的开销。
Description
技术领域
本发明涉及深度学习技术领域,特别涉及一种联邦学习梯度交换中的差异化加噪方法、一种计算机可读存储介质以及一种联邦学习梯度交换中的差异化加噪***。
背景技术
在进行数据共享和分布式深度学习的过程中,往往存在数据隐私泄露的问题。为了解决这一问题,多采用联邦学习方法,以减少数据交换过程中的隐私泄露。
相关技术中,在使用梯度更新算法的过程中,往往存在隐私保护强度不高的问题;而为了加强隐私保护的强度,通常采用同态加密方法,而这一方法在深度学习的场景中,将会使得原本就庞大的梯度数据再度扩大,进而带来巨大的数据传输开销。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种联邦学习梯度交换中的差异化加噪方法,能够提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种联邦学习梯度交换中的差异化加噪***。
为达到上述目的,本发明第一方面实施例提出了一种联邦学习梯度交换中的差异化加噪方法,包括以下步骤:多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新所述深度学习模型的梯度;每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据所述二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;所述中心服务器对所述加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新。
根据本发明实施例的联邦学习梯度交换中的差异化加噪方法,首先,多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;接着,每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;然后,中心服务器对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
另外,根据本发明上述实施例提出的联邦学习梯度交换中的差异化加噪方法还可以具有如下附加的技术特征:
可选地,所述深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,…,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
可选地,所述深度学习模型的梯度通过以下公式计算:
其中,Li(θi)表示平均损失,Gi表示梯度。
可选地,根据以下公式对每一层梯度进行加噪处理:
Gi={g1,g2,…,gn}
其中,GI表示加噪后的梯度,Gi表示梯度,gn表示第n层梯度的值,N表示数据方的总数,||gn||2表示第n层梯度对应的二范数。
可选地,根据以下公式对加噪后的梯度进行聚合:
为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有联邦学习梯度交换中的差异化加噪程序,该联邦学习梯度交换中的差异化加噪程序被处理器执行时实现如上述的联邦学习梯度交换中的差异化加噪方法。
根据本发明实施例的计算机可读存储介质,通过存储联邦学习梯度交换中的差异化加噪程序,以使得处理器在执行该联邦学习梯度交换中的差异化加噪程序时,实现如上述的联邦学习梯度交换中的差异化加噪方法,从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
为达到上述目的,本发明第三方面实施例提出了一种联邦学习梯度交换中的差异化加噪***,包括:多个数据方,多个数据方用于分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新所述深度学习模型的梯度;每个数据方还用于将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据所述二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;中心服务器,所述中心服务器用于对所述加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新。
根据本发明实施例的联邦学习梯度交换中的差异化加噪***,通过设置多个数据方用于分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;每个数据方还用于将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;中心服务器用于对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
另外,根据本发明上述实施例提出的联邦学习梯度交换中的差异化加噪***还可以具有如下附加的技术特征:
可选地,所述深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,…,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
可选地,所述深度学习模型的梯度通过以下公式计算:
其中,Li(θi)表示平均损失,Gi表示梯度。
可选地,根据以下公式对每一层梯度进行加噪处理:
Gi={g1,g2,…,gn}
其中,GI表示加噪后的梯度,Gi表示梯度,gn表示第n层梯度的值,N表示数据方的总数,||gn||2表示第n层梯度对应的二范数。
附图说明
图1为根据本发明实施例的联邦学习梯度交换中的差异化加噪方法的流程示意图;
图2为根据本发明实施例的联邦学习梯度交换中的差异化加噪***的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
相关技术中,在联邦学习过程中使用梯度更新算法时,往往存在隐私保护强度不高的问题,且容易带来巨大的数据传输开销的问题,根据本发明实施例的联邦学习梯度交换中的差异化加噪方法,首先,多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;接着,每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;然后,中心服务器对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的联邦学习梯度交换中的差异化加噪方法的流程示意图,如图1所示,该联邦学习梯度交换中的差异化加噪方法包括以下步骤:
S101,多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度。
也就是说,在联邦学习方法中,存在多个数据方,每个数据方分别获取自身能够采集的训练数据集,并且,将获取到的训练数据集输入到本地深度学习模型进行训练,以对深度学习模型的梯度进行更新。
作为一种示例,每个数据方在获取到数据之后,各自对获取到的数据进行处理,以形成训练数据集Di={x1,x2,…,xci};接着,每个数据方对本地的深度神经网络进行初始化,即言,首先,将深度学***均损失,并根据平均损失计算梯度,以对深度学习模型的梯度进行更新。
其中,损失函数的设置方式可以有多种。
作为一种示例,深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,…,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
其中,梯度的计算方式可以有多种。
作为一种示例,深度学习模型的梯度通过以下公式计算:
其中,Li(θi)表示平均损失,Gi表示梯度。
S102,每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器。
即言,每个数据方在计算得到自身对应的梯度之后,首先,对梯度进行分层处理,以得到多层的梯度;接着,对每一层梯度所对应的二范数进行计算,并根据二范数对相应层级的梯度进行加噪,然后,将加噪后的梯度发送给中心服务器;从而,通过在梯度交换过程中加入噪声,以替代传统的同态加密方法,可以提高隐私保护效果,同时,避免了加密算法带来的数据传输开销。
其中,对梯度进行加噪的方式可以有多种。
作为一种示例,根据以下公式对每一层梯度进行加噪处理:
Gi={g1,g2,…,gn}
其中,GI表示加噪后的梯度,Gi表示梯度,gn表示第n层梯度的值,N表示数据方的总数,||gn||2表示第n层梯度对应的二范数。
即言,首先,在计算得到梯度之后,对梯度Gi按照深度神经网络的层进行划分,可得到分层结果Gi={g1,g2,…,gn},n表示深度神经网络的总层数;接着,对于计算其二范数||gk||2;然后,根据二范数计算每一层梯度所对应的噪声
以便根据计算结果对每一层梯度进行加噪,从而,通过对每层梯度进行差异化的加噪,可以使得加入的噪声大小适应每一层梯度的需求,避免过度加噪而导致的梯度失真问题,进而可以提高深度学习模型的准确性。
S103,中心服务器对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新。
即言,中心服务器在接收到各数据方发送的加噪后的梯度之后,对接收到的加噪后的梯度进行聚合处理,并将聚合后的梯度发送给每个数据方;从而,每个数据方在接收到聚合后的梯度之后,可以对深度学习模型进行更新,以完成梯度交换的过程。
其中,对加噪后的梯度进行聚合的方式可以有多种。
作为一种示例,可以将迭代的次数作为权重进行加噪后的梯度的聚合,或者,将数据总量作为权重进行加噪后的梯度的聚合。
作为另一种示例,根据以下公式对加噪后的梯度进行聚合:
需要说明的是,每个数据方在接收到聚合后的梯度并根据其对本地深度学习模型进行更新之后,还可以通过本地存储的测试数据对更新后的深度学习模型进行验证;以判断当前深度学习模型是否已达到训练目标,如果是,则结束该数据方的训练;如果否,则继续进行训练与迭代,直至深度学习模型的测试结果达到训练目标。
综上所述,根据本发明实施例的联邦学习梯度交换中的差异化加噪方法,首先,多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;接着,每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;然后,中心服务器对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
为了实现上述实施例,本发明实施例还提出了一种计算机可读存储介质,其上存储有联邦学习梯度交换中的差异化加噪程序,该联邦学习梯度交换中的差异化加噪程序被处理器执行时实现如上述的联邦学习梯度交换中的差异化加噪方法。
根据本发明实施例的计算机可读存储介质,通过存储联邦学习梯度交换中的差异化加噪程序,以使得处理器在执行该联邦学习梯度交换中的差异化加噪程序时,实现如上述的联邦学习梯度交换中的差异化加噪方法,从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
为了实现上述实施例,本发明实施例还提出了一种联邦学习梯度交换中的差异化加噪***,如图2所示,该联邦学习梯度交换中的差异化加噪***包括:多个数据方10和中心服务器20。
其中,多个数据方10用于分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;
每个数据方10还用于将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器20;
中心服务器20用于对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方10,以便每个数据方10根据聚合后的梯度对本地深度学习模型进行更新。
在一些实施例中,深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,…,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
在一些实施例中,深度学习模型的梯度通过以下公式计算:
其中,Li(θi)表示平均损失,Gi表示梯度。
在一些实施例中,根据以下公式对每一层梯度进行加噪处理:
Gi={g1,g2,…,gn}
其中,GI表示加噪后的梯度,Gi表示梯度,gn表示第n层梯度的值,N表示数据方的总数,||gn||2表示第n层梯度对应的二范数。
综上所述,根据本发明实施例的联邦学习梯度交换中的差异化加噪***,通过设置多个数据方用于分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新深度学习模型的梯度;每个数据方还用于将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;中心服务器用于对加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新;从而实现提高联邦学习的数据交换过程中隐私的保护强度,同时,降低数据传输的开销。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种联邦学习梯度交换中的差异化加噪方法,其特征在于,包括以下步骤:
多个数据方分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新所述深度学习模型的梯度;
每个数据方将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据所述二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;
所述中心服务器对所述加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新;
其中,根据以下公式对每一层梯度进行加噪处理:
Gj={g1,g2,...,gn}
其中,GI表示加噪后的梯度,Gj表示梯度,gn表示第n层梯度的值,||gn||2表示第n层梯度对应的二范数。
2.如权利要求1所述的联邦学习梯度交换中的差异化加噪方法,其特征在于,所述深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,...,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
5.一种计算机可读存储介质,其特征在于,其上存储有联邦学习梯度交换中的差异化加噪程序,该联邦学习梯度交换中的差异化加噪程序被处理器执行时实现如权利要求1-4中任一项所述的联邦学习梯度交换中的差异化加噪方法。
6.一种联邦学习梯度交换中的差异化加噪***,其特征在于,包括:
多个数据方,多个数据方用于分别获取对应的训练数据集,并分别根据对应的训练数据集对深度学习模型进行训练,以更新所述深度学习模型的梯度;
每个数据方还用于将对应的梯度进行分层处理,并计算每一层梯度对应的二范数,以及根据所述二范数对每一层梯度进行加噪,并将加噪后的梯度发送至中心服务器;
中心服务器,所述中心服务器用于对所述加噪后的梯度进行聚合,并将聚合后的梯度发送给每个数据方,以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新;
其中,根据以下公式对每一层梯度进行加噪处理:
Gj={g1,g2,...,gn}
其中,GI表示加噪后的梯度,Gj表示梯度,gn表示第n层梯度的值,||gn||2表示第n层梯度对应的二范数。
7.如权利要求6所述的联邦学习梯度交换中的差异化加噪***,其特征在于,所述深度学习模型的损失函数设置为:
Lij(θi,xj),xj∈Di且j=1,...,ci
其中,θi表示网络参数,xj表示训练数据,Di表示训练数据集,ci表示训练数据集包含的数据总数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010157458.3A CN111260061B (zh) | 2020-03-09 | 2020-03-09 | 联邦学习梯度交换中的差异化加噪方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010157458.3A CN111260061B (zh) | 2020-03-09 | 2020-03-09 | 联邦学习梯度交换中的差异化加噪方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260061A CN111260061A (zh) | 2020-06-09 |
CN111260061B true CN111260061B (zh) | 2022-07-19 |
Family
ID=70955004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010157458.3A Active CN111260061B (zh) | 2020-03-09 | 2020-03-09 | 联邦学习梯度交换中的差异化加噪方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260061B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783142B (zh) * | 2020-07-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 数据保护方法、装置、服务器和介质 |
CN113282933B (zh) * | 2020-07-17 | 2022-03-01 | 中兴通讯股份有限公司 | 联邦学习方法、装置和***、电子设备、存储介质 |
CN112287231B (zh) * | 2020-11-05 | 2024-04-05 | 深圳大学 | 一种联邦推荐梯度获取方法、装置、智能终端及存储介质 |
CN113614726A (zh) * | 2021-06-10 | 2021-11-05 | 香港应用科技研究院有限公司 | 对联邦学习***的动态差异隐私 |
CN113705634B (zh) * | 2021-08-11 | 2024-05-10 | 西安交通大学 | 一种基于分层自适应的联邦学习方法、装置、设备及介质 |
CN113762526B (zh) * | 2021-09-07 | 2024-02-09 | 京东科技信息技术有限公司 | 联邦学习的方法及分层网络***、存储介质、电子设备 |
CN114331540B (zh) * | 2021-12-29 | 2023-09-15 | 北京百度网讯科技有限公司 | 训练模型的方法、确定资产估值的方法和装置 |
CN114611128B (zh) * | 2022-03-15 | 2023-06-06 | 抖音视界有限公司 | 一种纵向联邦学习方法、装置、***、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
CN109325584A (zh) * | 2018-08-10 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 基于神经网络的联邦建模方法、设备及可读存储介质 |
CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
CN110490738A (zh) * | 2019-08-06 | 2019-11-22 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN110633805A (zh) * | 2019-09-26 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
-
2020
- 2020-03-09 CN CN202010157458.3A patent/CN111260061B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
CN109325584A (zh) * | 2018-08-10 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 基于神经网络的联邦建模方法、设备及可读存储介质 |
CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110490738A (zh) * | 2019-08-06 | 2019-11-22 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN110633805A (zh) * | 2019-09-26 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
Advances and Open Problems in Federated Learning;Peter Kairouz et al.;《arXiv》;20191210;全文 * |
Towards Efficient and Privacy-Preserving Federated Deep Learning;Meng Hao et al.;《ICC 2019 - 2019 IEEE International Conference on Communications (ICC)》;20190715;全文 * |
面向数据共享交换的联邦学习技术发展综述;王亚珅;《无人***技术》;20191115(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111260061A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260061B (zh) | 联邦学习梯度交换中的差异化加噪方法及*** | |
CN105046277B (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
CN103116875B (zh) | 自适应双边滤波图像去噪方法 | |
CN110097178A (zh) | 一种基于熵注意的神经网络模型压缩与加速方法 | |
CN109064418A (zh) | 一种基于非局部均值的非均匀噪声图像去噪方法 | |
TW201935308A (zh) | 車險影像處理方法和裝置 | |
CN109242807B (zh) | 渲染参数自适应的边缘软化方法、介质及计算机设备 | |
CN115376031B (zh) | 基于联邦自适应学习的公路无人机巡检数据处理方法 | |
CN112906911A (zh) | 联邦学习的模型训练方法 | |
CN107578395A (zh) | 一种基于视觉感知的图像质量评价方法 | |
CN117529728A (zh) | 机器学习中的隐私性知悉式修剪 | |
CN114357526A (zh) | 抵御推断攻击的医疗诊断模型差分隐私联合训练方法 | |
CN116205311A (zh) | 一种基于Shapley值的联邦学习方法 | |
CN113282933B (zh) | 联邦学习方法、装置和***、电子设备、存储介质 | |
CN108537761A (zh) | 一种图像去雨模型的训练方法、装置及图像去雨方法 | |
CN115272433B (zh) | 用于无人机自动避障的轻量点云配准方法及*** | |
CN117093928A (zh) | 基于谱域图神经网络的自适应图节点异常检测方法 | |
CN115880111B (zh) | 基于图像的虚拟仿真实训课堂教学管理方法及*** | |
CN117151208A (zh) | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 | |
CN117197451A (zh) | 基于域自适应的遥感图像语义分割方法及装置 | |
CN114387580A (zh) | 基于联邦学习的模型训练方法及装置 | |
CN111160198A (zh) | 基于宽度学习的物体识别方法及*** | |
CN113516163B (zh) | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 | |
CN116318856A (zh) | 一种基于差分隐私和联邦学习的模型参数优化方法和*** | |
CN111833395B (zh) | 一种基于神经网络模型的测向体制单目标定位方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |