CN113344221A - 一种基于神经网络架构搜索的联邦学习方法及*** - Google Patents

一种基于神经网络架构搜索的联邦学习方法及*** Download PDF

Info

Publication number
CN113344221A
CN113344221A CN202110507558.9A CN202110507558A CN113344221A CN 113344221 A CN113344221 A CN 113344221A CN 202110507558 A CN202110507558 A CN 202110507558A CN 113344221 A CN113344221 A CN 113344221A
Authority
CN
China
Prior art keywords
alpha
participant
neural network
central server
network architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110507558.9A
Other languages
English (en)
Inventor
武星
刘飞翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110507558.9A priority Critical patent/CN113344221A/zh
Publication of CN113344221A publication Critical patent/CN113344221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Molecular Biology (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于神经网络架构搜索的联邦学习方法及***，该方法包括：中央服务器将搜索空间中神经网络的架构w和权重α发送给参与方设备，发送一个随机的私有密钥
Figure DDA0003059033260000011
给第一个参与方设备；参与方设备基于w和α以及本地数据集进行训练，得到损失值以及w和α的梯度，并更新网络的架构和权重；每个参与方设备将各自w和α进行加密，并通过链式方法传递给下一个参与方；最后一个参与方设备将所有参与方设备的加密w和α发送给中央服务器后，中央服务器进行解密得出聚合的w和α结果，更新全局神经网络w和α，并发送给各个参与方设备继续更新。本发明实现了联邦学习模型训练计算的简化，并提升了联邦学习模型训练的鲁棒性以及降低了模型训练的成本。

Description

一种基于神经网络架构搜索的联邦学习方法及***
技术领域
本发明涉及信息技术领域，特别是涉及一种基于神经网络架构搜索的联邦学习方法及***。
背景技术
如今的集中式网络训练已经能够执行各种数据挖掘任务，但充足的数据集是保证模型可靠性的前提。考虑到隐私保护、通信和存储成本、知识产权保护、监管限制和法律约束等问题，在一些特殊的领域，比如：金融、医疗和政务等，将各方数据收集在一个服务器上进行建模和挖掘十分困难。联邦学习是解决此类问题的一个通用方法，它是近年来提出的一种分布式机器学习范式。可以在各个参与方不透露自己数据信息的前提下，通过同态加密等加密算法，将各个参与方的梯度结果汇总到一个服务器上来更新训练一个全局模型。
在每一轮的训练过程中，各个参与方用自己本地的数据来训练此时的全局模型，并且得到一个梯度信息。通过同态加密等方式对梯度信息进行加密后传输给服务器端。服务器端根据相应的聚合算法(如FedAvg算法)将各个梯度聚合并更新全局参数完成本轮训练。
在现有的联邦学习模型中，人们使用预设的模型作为初始的全局模型进行训练。这种使用预先设定的模型进行联邦训练的方式会降低模型在实际数据分布场景下的鲁棒性降低，因为多数情况下，数据集在参与方中都是非独立同分布的，而且开发人员并不知道数据分布的具体情况。当然，开发人员可以选择不同的模型结构进行尝试，来的得出最合适的模型以增强其鲁棒性，但是这样做会耗费更高的成本，加重计算负担，存在一定的缺陷。
发明内容
为解决上述技术问题，本发明的目的在于，提供一种基于神经网络架构搜索的联邦学习方法及***，实现联邦学习计算的简化，并提升联邦学习的鲁棒性以及降低模型训练的成本。
为达到上述目的，本发明采用如下技术方案：
本发明提供一种基于神经网络架构搜索的联邦学习方法，通过迭代方法直至满足设定的停止条件，包括如下步骤：
S100、中央服务器将搜索空间中神经网络的权重w和架构α发送给K个参与方设备，并且发送一个随机生成的私有密钥
Figure BDA0003059033240000011
给本轮通信的第一个参与方设备，用以链式传输加密，其中0表示本轮通信中的第0个密钥，t表示第t轮通信；
S200、各个参与方设备基于所获得的w和α以及本地数据集进行训练，得到训练集和验证集的损失值以及w和α的梯度，并根据梯度下降的方法更新网络的架构和权重；
S300、每个参与方设备将各自w和α进行加密，加密所用的密钥包含中央服务器发送的初始密码以及所有之前参与方的w和α结果，并通过链式的方法传递给下一个参与方，作为下一个参与方加密密钥；
S400、最后一个参与方设备将本轮通信中所有参与方设备的加密w和α发送给中央服务器后，中央服务器用自己的密钥进行解密得出聚合的w和α结果，且基于聚合结果更新全局神经网络w和α，并将新的w和α值发送给各个参与方设备继续更新。
进一步的，在步骤S100中，所述搜索空间为连续可微的，且所述搜索空间通过梯度下降的混合运算搜索空间作为初始全局模型。
进一步的，在步骤S200中，本地数据集包括训练集、测试集以及验证集。
进一步的，在步骤S200中，网络权重w以及架构α的计算公式为：
Figure BDA0003059033240000021
Figure BDA0003059033240000022
其中
Figure BDA0003059033240000023
以及
Figure BDA0003059033240000024
分别为网络架构α以及权重w的梯度，
Figure BDA0003059033240000025
以及
Figure BDA0003059033240000026
分别为验证集和训练集的损失值，ηα和ηw表示梯度下降的步长。
进一步的，在步骤S300中，参与方设备在通信过程中，中央服务器将所有参与方设备都发送w和α，中央服务器生成的密钥指向链式中第一个参与方设备发送，且通过最后一个参与方设备发送数据给中央服务器。
进一步的，在步骤S400中，最后一个参与方设备发送的数据为使用了
Figure BDA0003059033240000027
进行加密的所有参与方设备的更新结果，即：
Figure BDA0003059033240000028
Figure BDA0003059033240000029
其中
Figure BDA00030590332400000210
代表了第t轮中，参与方设备k对w的加密更新结果，它的值为所有参与方设备在t轮中的w更新值与初始密钥
Figure BDA00030590332400000211
之和。
Figure BDA00030590332400000212
则为所有参与方设备在t轮中的α更新值与初始密钥
Figure BDA00030590332400000213
之和。
进一步的，在步骤S400中，中央服务器通过
Figure BDA00030590332400000216
解密后得到
Figure BDA00030590332400000214
和
Figure BDA00030590332400000215
并通过如下公式更新全局的w和α：
Figure BDA0003059033240000031
Figure BDA0003059033240000032
wt+1和αt+1为更新结果作为是第t+1轮训练的全局模型，N为联邦中所有参与方数量，Nk为本轮参与局和的数量。
一种基于神经网络架构搜索的联邦学习***，包括中央服务器以及若干个参与方设备，且所述参与方设备保存有本地数据集。
相比于现有技术，本发明具有以下优点：
1)根据各个参与方的数据异质性(数据非独立同分布)的具体特点搜索到最适合数据分布的神经网络作为训练的初始全局模型，保证了模型训练的精度，增强了联邦学习框架的鲁棒性。
2)用分布式的思想来进行神经网络搜索，用DARTS连续可微的搜索空间进行梯度下降来完成这个目标，充分利用了各个参与方节点的计算资源，提高了最优神经网络获取的速度。
3)通过链式加密的方式，在协同训练的过程中，任意参与方设备都无法获知其他参与方的信息值，保证了所有参与方的隐私数据，同时，中央服务器最终基于自己的密钥可以解密获取到精确的w和α，保证了模型训练的精度。
附图说明
图1为本发明一种基于神经网络架构搜索的联邦学习方法一种实施例的流程图；
图2为本发明一种基于神经网络架构搜索的联邦学习方法中链式传输加密以及搜索空间梯度下降更新的示意图；
图3为本发明一种基于神经网络架构搜索的联邦学习方法中的搜索空间以及最终的单元结构搜索结果示意图。
具体实施方式
下面将结合示意图对本发明的一种基于神经网络架构搜索的联邦学习方法及***进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
如图1所示，本发明实施例提出了一种基于神经网络架构搜索的联邦学习方法，具体地对每一步骤进行详细说明。
步骤S100：中央服务器将搜索空间中神经网络的权重w和架构α发送给K个参与方设备，并且发送一个随机生成的私有密钥
Figure BDA0003059033240000041
给本轮通信的第一个参与方设备，用以链式传输加密，其中0表示本轮通信中的第0个密钥，t表示第t轮通信。
具体的，中央服务器发送给各个参与方w和α，为本轮搜索的权重和架构，初始的搜索空间定义遵循DARTS的定义，本发明在两个共享的卷积单元中进行搜索，然后将其构建为一个完整的模型架构。在单元内部，将两个节点之间的分类候选操作(例如卷积、最大池化、全连接)放宽到一个连续的搜索空间。
同时，参考图2，中央服务器是神经网络构架搜索的关键，整个迭代中单元的搜索过程可以抽象为三个步骤：
(1)首先定义搜索空间：对单元中各个模块边的操作最初是未知的，通过在每一条边上混合放置候选操作来连续松弛搜索空间，在图中使用多条边来表示多种操作；
(2)每一个参与方通过求解双层优化问题，实现混合概率和网络权值的联合优化；
(3)从所学的混合概率中归纳出最终的结构。
另外，参考图3，搜索空间为连续可微的，且所述搜索空间通过梯度下降的混合运算搜索空间作为初始全局模型。根据DARTS，定义允许使用梯度下降的混合运算搜索空间，在完成了一系列本地搜索和聚合之后，搜索出的单元结构。
混合运算操作包含以下操作：3×3和5×5可分卷积、3×3和5×5可分扩张卷积、3×3最大池化、3×3平均池化等。
在本例中最后搜索得出的卷积单元由7个节点组成，其中输出节点定义为所有中间节点的纵深级联，通过将多个单元堆叠在一起形成网络。将k单元的第一和第二节点分别设置为k-2和k-1单元的输出，并且根据需要***1×1卷积。
步骤S200，各个参与方设备基于所获得的w和α以及本地数据集进行训练，得到训练集和验证集的损失值以及w和α的梯度，并根据梯度下降的方法更新网络的架构和权重。
具体的，各个参与方设备基于所获得网络和本地数据集进行训练，得到训练集和验证集的损失值以及w和α的梯度值，包括
Figure BDA0003059033240000042
和
Figure BDA0003059033240000043
并根据下面的公式进行网络架构和权重的更新。
Figure BDA0003059033240000044
Figure BDA0003059033240000045
其中
Figure BDA0003059033240000046
以及
Figure BDA0003059033240000047
分别为网络架构α以及权重w的梯度，
Figure BDA0003059033240000048
以及
Figure BDA0003059033240000049
分别为验证集和训练集的损失值，ηα和ηw表示梯度下降的步长。
值得注意的是，由于本发明所使用的搜索空间是可微的，所以搜索神经网络架构可以通过梯度下降的方式。
步骤S300中，每个参与方设备将各自w和α进行加密，加密所用的密钥包含中央服务器发送的初始密码以及所有之前参与方的w和α结果，并通过链式的方法传递给下一个参与方，作为下一个参与方加密密钥。
具体的，第一个参与方设备在经过本地搜索得到新的w和α后用
Figure BDA0003059033240000051
进行加密得到
Figure BDA0003059033240000052
和
Figure BDA0003059033240000053
分别表示链式中第一个加密的w和α，并发送给第二个参与方设备，作为它的加密密钥；
由于之后的参与方设备操作相似，这里就用第i个参与方设备作为一个例子进行说明：
第i个参与方设备收到第i-1个参与方设备发送
Figure BDA0003059033240000054
和
Figure BDA0003059033240000055
表示之前1～i-1参与方设备加密w和α)，也即自己的加密密钥；之后通过本地搜索更新w和α，将
Figure BDA0003059033240000056
和
Figure BDA0003059033240000057
当作密钥加入到更新所得的w和α中，得到
Figure BDA0003059033240000058
和
Figure BDA0003059033240000059
发送给第i+1个参与方设备。
最后一个设备k按照上述方法更新完加密的w和α中后，发送给中央服务器，此时发送的数据为使用了
Figure BDA00030590332400000510
进行加密的所有参与方设备的更新结果，即：
Figure BDA00030590332400000511
Figure BDA00030590332400000512
其中
Figure BDA00030590332400000513
代表了第t轮中，参与方设备k对w的加密更新结果，它的值为所有参与方设备在t轮中的w更新值与初始密钥
Figure BDA00030590332400000514
之和。
Figure BDA00030590332400000515
则为所有参与方设备在t轮中的α更新值与初始密钥
Figure BDA00030590332400000516
之和。
此步骤中的加密操作有两个有益之处：一是保证了任何一个参与方的隐私数据不会被泄露；二是第i个参与方所用的密钥就包含了前i-1个参与方的搜索结果，这样只需最后一个参与方发送最终结果给中央服务器，就能完成本轮聚合，而无需每一个参与方设备都向中央服务器发送数据。
步骤S400：最后一个参与方设备将本轮通信中所有参与方设备的加密w和α发送给中央服务器后，中央服务器用自己的密钥进行解密得出聚合的w和α结果，且基于聚合结果更新全局神经网络w和α，并将新的w和α值发送给各个参与方设备继续更新。
具体的，通过最先生成的密钥
Figure BDA0003059033240000061
进行解密，可得到
Figure BDA0003059033240000062
和
Figure BDA0003059033240000063
即所有参与方的结果之和，中央服务器通过以下公式进行聚合，之后再将数据发送给参与方来继续进行训练。
Figure BDA0003059033240000064
Figure BDA0003059033240000065
wt+1和αt+1为更新结果也作为第t+1轮训练的全局模型，N为联邦中所有参与方数量，Nk为本轮参与局和的数量。
重复步骤S400直至达到迭代结束条件。
如图2所示，本发明还提供一种基于神经网络架构搜索的联邦学习***，包括中央服务器以及若干个参与方设备，且所述参与方设备保存有本地数据集。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于神经网络架构搜索的联邦学习方法及***，其特征在于，通过迭代方法直至满足设定的停止条件，包括如下步骤：
S100、中央服务器将搜索空间中神经网络的架构w和权重α发送给K个参与方设备，并且发送一个随机生成的私有密钥
Figure FDA0003059033230000018
给本轮通信的第一个参与方设备，用以链式传输加密，其中0表示本轮通信中的第0个密钥，t表示第t轮通信；
S200、各个参与方设备基于所获得的w和α以及本地数据集进行训练，得到训练集和验证集的损失值以及w和α的梯度，并根据梯度下降的方法更新网络的架构和权重；
S300、每个参与方设备将各自w和α进行加密，加密所用的密钥包含中央服务器发送的初始密码以及所有之前参与方的w和α结果，并通过链式的方法传递给下一个参与方，作为下一个参与方加密密钥；
S400、最后一个参与方设备将本轮通信中所有参与方设备的加密w和α发送给中央服务器后，中央服务器用自己的密钥进行解密得出聚合的w和α结果，且基于聚合结果更新全局神经网络w和α，并将新的w和α值发送给各个参与方设备继续更新。
2.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S100中，所述搜索空间为连续可微的，且所述搜索空间通过梯度下降的混合运算搜索空间作为初始全局模型。
3.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S200中，本地数据集包括训练集、测试集以及验证集。
4.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S200中，网络架构w以及权重α的计算公式为：
Figure FDA0003059033230000011
Figure FDA0003059033230000012
其中
Figure FDA0003059033230000013
以及
Figure FDA0003059033230000014
分别为网络架构w以及权重α的梯度，
Figure FDA0003059033230000015
以及
Figure FDA0003059033230000016
分别为验证集和训练集的损失值。
5.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S300中，参与方设备在通信过程中，中央服务器将所有参与方设备都发送w和α，中央服务器生成的密钥指向链式中第一个参与方设备发送，且通过最后一个参与方设备发送数据给中央服务器。
6.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S400中，最后一个参与方设备发送的数据为使用了
Figure FDA0003059033230000017
进行加密的所有参与方设备的更新结果，即：
Figure FDA0003059033230000021
Figure FDA0003059033230000022
7.如权利要求1所述的基于神经网络架构搜索的联邦学习方法，其特征在于，在步骤S400中，中央服务器通过
Figure FDA0003059033230000023
解密后得到
Figure FDA0003059033230000024
和
Figure FDA0003059033230000025
并通过如下公式更新全局的w和α：
Figure FDA0003059033230000026
Figure FDA0003059033230000027
8.一种如权利要求1-7任一所述的基于神经网络架构搜索的联邦学习***，其特征在于，包括中央服务器以及若干个参与方设备，且所述参与方设备保存有本地数据集。
CN202110507558.9A 2021-05-10 2021-05-10 一种基于神经网络架构搜索的联邦学习方法及*** Pending CN113344221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507558.9A CN113344221A (zh) 2021-05-10 2021-05-10 一种基于神经网络架构搜索的联邦学习方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507558.9A CN113344221A (zh) 2021-05-10 2021-05-10 一种基于神经网络架构搜索的联邦学习方法及***

Publications (1)

Publication Number Publication Date
CN113344221A true CN113344221A (zh) 2021-09-03

Family

ID=77470412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507558.9A Pending CN113344221A (zh) 2021-05-10 2021-05-10 一种基于神经网络架构搜索的联邦学习方法及***

Country Status (1)

Country Link
CN (1) CN113344221A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962391A (zh) * 2021-12-22 2022-01-21 鹏城实验室 神经网络架构搜索方法、装置、设备及存储介质
CN114492846A (zh) * 2022-04-06 2022-05-13 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及***
CN114912146A (zh) * 2022-05-25 2022-08-16 中国信息通信研究院 一种垂直联邦架构下的数据信息防御方法、***、电子设备及存储介质
CN116070714A (zh) * 2023-01-10 2023-05-05 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及***
CN116168789A (zh) * 2023-04-26 2023-05-26 之江实验室 一种多中心医疗数据生成***和方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060080284A1 (en) * 2003-11-07 2006-04-13 Masonis John T Viral engine for network deployment
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习***及方法
CN111860832A (zh) * 2020-07-01 2020-10-30 广州大学 一种基于联邦学习的增强神经网络防御能力的方法
CN111967610A (zh) * 2020-08-18 2020-11-20 中国银行股份有限公司 基于区块链的联邦学习激励方法、装置、设备及存储介质
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112287377A (zh) * 2020-11-25 2021-01-29 南京星环智能科技有限公司 基于联邦学习的模型训练方法、计算机设备及存储介质
CN112383396A (zh) * 2021-01-08 2021-02-19 索信达(北京)数据技术有限公司 一种联邦学习模型训练方法及***
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060080284A1 (en) * 2003-11-07 2006-04-13 Masonis John T Viral engine for network deployment
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习***及方法
CN111860832A (zh) * 2020-07-01 2020-10-30 广州大学 一种基于联邦学习的增强神经网络防御能力的方法
CN111967610A (zh) * 2020-08-18 2020-11-20 中国银行股份有限公司 基于区块链的联邦学习激励方法、装置、设备及存储介质
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112287377A (zh) * 2020-11-25 2021-01-29 南京星环智能科技有限公司 基于联邦学习的模型训练方法、计算机设备及存储介质
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN112383396A (zh) * 2021-01-08 2021-02-19 索信达(北京)数据技术有限公司 一种联邦学习模型训练方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAOYANG HE 等: "Towards Non-I.I.D. and Invisible Data with FedNAS:Federated Deep Learning via Neural Architecture Search", 《ARXIV》 *
HANGYU ZHU ETAL: "From federated learning to federated neural architecture search: a survey", 《COMPLEX & INTELLIGENT SYSTEMS》 *
王健宗: "联邦学习隐私保护研究进展", 《大数据》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962391A (zh) * 2021-12-22 2022-01-21 鹏城实验室 神经网络架构搜索方法、装置、设备及存储介质
CN113962391B (zh) * 2021-12-22 2022-03-01 鹏城实验室 神经网络架构搜索方法、装置、设备及存储介质
CN114492846A (zh) * 2022-04-06 2022-05-13 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及***
CN114492846B (zh) * 2022-04-06 2022-08-26 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及***
CN114912146A (zh) * 2022-05-25 2022-08-16 中国信息通信研究院 一种垂直联邦架构下的数据信息防御方法、***、电子设备及存储介质
CN116070714A (zh) * 2023-01-10 2023-05-05 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及***
CN116070714B (zh) * 2023-01-10 2024-03-08 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及***
CN116168789A (zh) * 2023-04-26 2023-05-26 之江实验室 一种多中心医疗数据生成***和方法

Similar Documents

Publication Publication Date Title
CN113344221A (zh) 一种基于神经网络架构搜索的联邦学习方法及***
Liu et al. Blockchain and federated learning for collaborative intrusion detection in vehicular edge computing
Lin et al. A collaborative learning framework via federated meta-learning
Wan et al. Privacy-preservation for gradient descent methods
Indyk et al. Polylogarithmic private approximations and efficient matching
Jiang et al. Flashe: Additively symmetric homomorphic encryption for cross-silo federated learning
Tian et al. WSCC: A weight-similarity-based client clustering approach for non-IID federated learning
Jeon et al. Privacy-preserving decentralized aggregation for federated learning
Ma et al. Federated data cleaning: Collaborative and privacy-preserving data cleaning for edge intelligence
Klein et al. Synchronization of neural networks by mutual learning and its application to cryptography
Olowononi et al. Federated learning with differential privacy for resilient vehicular cyber physical systems
US20220414208A1 (en) Method for updating a neural network, terminal apparatus, computation apparatus, and program
Zhang et al. Privacy-preserving and verifiable online crowdsourcing with worker updates
CN113962359A (zh) 一种基于联邦学***衡的模型训练方法
Zhang et al. Fed-cbs: A heterogeneity-aware client sampling mechanism for federated learning via class-imbalance reduction
Li et al. Homopai: A secure collaborative machine learning platform based on homomorphic encryption
CN116523074A (zh) 动态化公平性的隐私保护联邦深度学习方法
Li et al. FEEL: Federated end-to-end learning with non-IID data for vehicular ad hoc networks
CN116187482A (zh) 一种边缘场景下轻量级的可信联邦学习方法
CN113779615B (zh) 一种安全的去中心化的图联邦学习方法
Zhou et al. Securing federated learning enabled NWDAF architecture with partial homomorphic encryption
Kim et al. Reducing model cost based on the weights of each layer for federated learning clustering
Lu et al. Privacy-preserving decentralized federated learning over time-varying communication graph
Chen et al. Resource-aware knowledge distillation for federated learning
Wang et al. Efficient ring-topology decentralized federated learning with deep generative models for industrial artificial intelligent

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903

RJ01 Rejection of invention patent application after publication