CN112001502A - 高延时网络环境鲁棒的联邦学习训练方法及装置 - Google Patents

高延时网络环境鲁棒的联邦学习训练方法及装置 Download PDF

Info

Publication number
CN112001502A
CN112001502A CN202010858570.XA CN202010858570A CN112001502A CN 112001502 A CN112001502 A CN 112001502A CN 202010858570 A CN202010858570 A CN 202010858570A CN 112001502 A CN112001502 A CN 112001502A
Authority
CN
China
Prior art keywords
target
encrypted data
received
data uploading
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010858570.XA
Other languages
English (en)
Other versions
CN112001502B (zh
Inventor
曾昱为
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010858570.XA priority Critical patent/CN112001502B/zh
Priority to PCT/CN2020/118938 priority patent/WO2021155671A1/zh
Publication of CN112001502A publication Critical patent/CN112001502A/zh
Application granted granted Critical
Publication of CN112001502B publication Critical patent/CN112001502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，涉及人工智能技术，包括获取当前***时间，若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端；获取各目标数据上传终端的当前网络时延值以得到最大网络时延值；根据最大网络时延值及单位时序间隔步长，计算得到延时步长；将当前***时间与延时步长求和得到目标***时间，若当前时间为目标***时间且未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。

Description

高延时网络环境鲁棒的联邦学习训练方法及装置
技术领域
本发明涉及人工智能的模型托管技术领域，尤其涉及一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质。
背景技术
联邦机器学习是一种基于分布式参数聚合技术的机器学习框架，它的重点在于分布式的多用户，以及对应的联邦参数聚合机制。它能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。
目前主流的联邦学习技术都是基于传统的同步式参数聚合技术，同步式参数聚合技术目前只能用于低时延高带宽的本地集群中，才能保证足够的训练效率。
但是，在联邦学习的应用场景中，训练数据通常是分散的跨越许多地理位置的(例如跨国银行数据节点)，而这些地理位置之间的物理距离很长，因此网络延迟通常比较严重，在这种情况下，传统的同步分布式训练是无法很好地工作的。实验结果证明，传统的同步式随机梯度下降方法在网络延迟在100ms的时候，训练效率已经从0.8降到0.1，有高达八倍的速度损失；而在现实中，两个异地节点之间的网络延迟时间往往会轻易达到数百ms，此时同步式随机梯度下降方法将完全无法正常工作。
发明内容
本发明实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，旨在解决现有技术中联邦学习的同步式随机梯度下降方法在网络延迟比较严重的时候，训练效率极大降低的问题。
第一方面，本发明实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法，其包括：
获取当前***时间，判断是否接收到各数据上传终端上传的加密数据；
若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；
获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；
根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；
将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及
若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
第二方面，本发明实施例提供了一种高延时网络环境鲁棒的联邦学习训练装置，其包括：
数据接收判断单元，用于获取当前***时间，判断是否接收到各数据上传终端上传的加密数据；
目标终端获取单元，用于若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；
最大网络时延值获取单元，用于获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；
延时步长获取单元，用于根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；
目标加密数据接收判断单元，用于将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及
时延稀疏更新单元，用于若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的高延时网络环境鲁棒的联邦学习训练方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的高延时网络环境鲁棒的联邦学习训练方法。
本发明实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，包括获取当前***时间，判断是否接收到各数据上传终端上传的加密数据；若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的高延时网络环境鲁棒的联邦学习训练方法的应用场景示意图；
图2为本发明实施例提供的高延时网络环境鲁棒的联邦学习训练方法的流程示意图；
图3为本发明实施例提供的高延时网络环境鲁棒的联邦学习训练装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的高延时网络环境鲁棒的联邦学习训练方法的应用场景示意图；图2为本发明实施例提供的高延时网络环境鲁棒的联邦学习训练方法的流程示意图，该高延时网络环境鲁棒的联邦学习训练方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S160。
S110、获取当前***时间，判断是否接收到各数据上传终端上传的加密数据。
在本实施例中，为了更清楚的理解本申请的技术方案，下面对所涉及到的终端进行详细介绍。本申请是在云服务器的角度描述技术方案。
一是云服务器，用于接收各参与者(参与者也就是数据上传终端)的梯度参数，在云服务器的本地进行参数聚合后，将更新后的梯度参数发送至各参与者，从而实现联邦学习。具体实施时，在云服务器中进行联邦学习训练出的模型可应用于人脸识别、OCR文本能识别、语音识别等。
二是数据上传终端，一个云服务器与多个数据上传终端通讯连接，这多个数据上传终端作为联邦学习的参与者，可在本地各自训练出梯度参数后，将本地的梯度参数上传至云服务器中进行参数聚合。
由于各数据上传终端与云服务器通讯连接时，各数据上传终端因网络延迟的问题，云服务器可能不会在同一时刻接收到各数据上传终端上传的加密数据，此时云服务器中就需要获知已接收到哪些数据上传终端上传的加密数据，也需获知仍未接收到哪些数据上传终端上传的加密数据。
S120、若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合。
在本实施例中，当在云服务器中判定有部分数据上传终端未上传加密数据，由于之前云服务器中是存储有连接终端列表，该连接终端列表中详细列举了参与此次联邦学习的模型训练的所有数据上传终端的终端MAC地址(或是终端IP地址)，故当接收到该连接终端列表其中若干个数据上传终端上传的加密数据，在该连接终端列表中对应数据上传终端的上传标识位增加本轮加密数据已上传的标识并记录本轮加密数据上传时间。一旦该连接终端列表存在有数据上传终端的上传标识位未增加本轮数据已上传的标示且该数据上传终端对应的加密数据上传时间仍是上一轮的加密数据上传时间，表示该数据上传终端本轮仍未上传加密数据至云服务器。通过这一筛选过程，能有效预判哪些数据上传终端存在网络延迟的状况。
若接收到了所有数据上传终端上传的加密数据，则继续本轮联邦学习的训练，直至得到本轮的聚合参数，将本轮的聚合参数发送至各数据上传终端。
S130、获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值。
在本实施例中，当通过步骤S120获取了仍未上传加密数据的目标数据上传终端集合后，此时可以获取每一个目标数据上传终端的当前网络延时值，取其中的最大值作为最大网络时延值。之后以最大网络时延值为参考，可以计算出延时步长。
S140、根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长。
在本实施例中，当已知了最大网络时延值后，调用本地存储的单位时序间隔步长，根据最大网络时延值/单位时序间隔步长即可计算出延时步长，该延时步长作为云服务器在本轮联邦学习过程中的时延调整的重要参数。
S150、将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据。
在本实施例中，先将当前***时间与所述延时步长求和得到目标***时间，是因为在当前***时间至目标***时间这一段时间内，已经上传的加密数据就在云服务器的本地解密后进行参数聚合，若在当前***时间至目标***时间这一段时间内所有已上传的加密数据已完成了参数聚合后，目标数据上传终端仍未上传加密数据，此时在云服务器中停止参数聚合，延时等待至目标***时间。之后在目标***时间这一时刻云服务器再去检测是否接收到目标数据上传终端上传的目标加密数据。
S160、若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
在本实施例中，例如假设当前***时间为t1，所述时延步长S＝12(时延步长S＝12对应400ms的时长)，目标***时间则是t1+S＝t2，则在t1～t2这一时间段内云服务器中根据所接收到的加密数据解密后进行参数聚合。若此时的时刻已到达t2，但是仍有目标数据上传终端未上传目标加密数据，此时在云服务器中开始等待目标加密数据上传而不再进行参数聚合，直至等到所有的目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
因此，时延步长的选择是与网络时延值的长短息息相关的，合适的时延步长可以最大程度的进行优化；网络时延值越高，则时延步长也要越大。网络时延值是100ms时，时延步长S＝4最佳；网络时延值是500ms时，时延步长S＝8最佳；网络时延值是1000ms时，时延步长S＝12最佳；网络时延值是5000ms时，时延步长S＝20最佳。网络时延值在100ms到500ms之间时，时延步长S＝8。
在一实施例中，步骤S160之后还包括：
若接收到目标数据上传终端上传的目标加密数据，将所接收到的当前目标加密数据加入联邦学习模型的训练集，以进行本地的联邦学习训练。
在本实施例中，继续参考上述实例，若在t2之前目标数据上传终端上传的目标加密数据已全部上传完毕，之后就可以由云服务器将参数聚合结果同步发送至数据上传终端进行下一轮的训练。通过设置了时延步长这一参数，云服务器既可以先聚合一部分参数进行处理，之后新接收到的目标加密数据则实时加入参数聚合，这样先处理了一部分参数聚合后再等待新数据，可以有效提高参数聚合的效率。
在一实施例中，步骤S160之后还包括：
获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度；
调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度；
根据
Figure BDA0002647222350000071
计算得到弥补后模型参数；其中ω'(n,t)表示弥补后模型参数，ω(n,t)表示本地的联邦学习模型的模型参数，λ表示学习因子，
Figure BDA0002647222350000072
表示本地的当前全局聚合梯度，
Figure BDA0002647222350000073
表示目标数据聚合梯度。
在本实施例中，由于不再采用同步式随机梯度下降，此时为了充分还原同步式随机梯度的效果，需引入了误差弥补的梯度更新项去抵消时延更新带来的误差。当本轮联邦学习所有的数据上传终端均上传了加密数据后，根据弥补后模型参数＝本地的联邦学习模型的模型参数+学习因子*(本地的当前全局聚合梯度-目标数据聚合梯度)，以获取弥补后模型参数。
在一实施例中，所述获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度，调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度，根据弥补后模型参数＝本地的联邦学习模型的模型参数+学习因子*(本地的当前全局聚合梯度-目标数据聚合梯度)，以获取弥补后模型参数的步骤之后还包括：
调用本地存储的公钥，将所述公钥和所述弥补后模型参数发送至各数据上传终端。
在本实施例中，当本轮完成了所有的参数据集合得到了弥补后模型参数后，此时云服务器可将本地的公钥和所述弥补后模型参数分别发送至各数据上传终端，以更新数据上传终端本地的模型参数。而且下一轮数据上传终端在上传数据之前，需根据所述公钥对数据加密后再上传至云服务器，以提高数据安全性。
在一实施例中，所述获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度，调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度，根据弥补后模型参数＝本地的联邦学习模型的模型参数+学习因子*(本地的当前全局聚合梯度-目标数据聚合梯度)，以获取弥补后模型参数的步骤之后还包括：
将所述弥补后模型参数上传至区块链网络。
在本实施例中，云服务器可以作为一个区块链节点设备，以将所述弥补后模型参数上传至区块链网络，充分利用区块链数据不可篡改的特性，实现行弥补后模型参数固化存储。
其中，基于所述弥补后模型参数得到对应的摘要信息，具体来说，摘要信息由所述弥补后模型参数进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述弥补后模型参数是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一实施例中，步骤S110之前还包括：
获取上一模型参数发送时间；
判断当前***时间与上一模型参数发送时间之间的时间间隔是否等于预设的时序间隔；
若当前***时间与上一模型参数发送时间之间的时间间隔等于所述时序间隔，执行获取当前***时间，判断是否接收到各数据上传终端上传的加密数据的步骤。
在本实施例中，为了降低各数据上传终端上传加密数据至云服务器的周期，可通过设置一个时序间隔来实现，即此时可以获取上一模型参数发送时间，判断当前***时间与模型参数发送时间之间的时间间隔是否等于预设的时序间隔。若当前***时间与上一模型参数发送时间之间的时间间隔等于所述时序间隔，表示上一次各数据上传终端上传加密数据之后经过了时序间隔时间长度的时间之后，云服务器才可以再次接收加密数据。通过这一方式实现了时序稀疏更新，大大减缓网络IO的压力。
通过实验验证表明，传统的同步式随机梯度下降方法在网络延迟在100ms的时候，训练效率已经从0.8降到0.1，有高达八倍的速度损失，而到了300ms以上已经近乎等于停滞了。而本申请中可以在极限情况下做到在500ms～1000ms的网络时延下依然可以保持与10ms时延网络等同的训练效率与训练效果。
该方法实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。
本发明实施例还提供一种高延时网络环境鲁棒的联邦学习训练装置，该高延时网络环境鲁棒的联邦学习训练装置用于执行前述高延时网络环境鲁棒的联邦学习训练方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的高延时网络环境鲁棒的联邦学习训练装置的示意性框图。该高延时网络环境鲁棒的联邦学习训练装置100可以配置于服务器中。
如图3所示，高延时网络环境鲁棒的联邦学习训练装置100包括：数据接收判断单元110、目标终端获取单元120、最大网络时延值获取单元130、延时步长获取单元140、目标加密数据接收判断单元150、时延稀疏更新单元160。
数据接收判断单元110，用于获取当前***时间，判断是否接收到各数据上传终端上传的加密数据。
在本实施例中，由于各数据上传终端与云服务器通讯连接时，各数据上传终端因网络延迟的问题，云服务器可能不会在同一时刻接收到各数据上传终端上传的加密数据，此时云服务器中就需要获知已接收到哪些数据上传终端上传的加密数据，也需获知仍未接收到哪些数据上传终端上传的加密数据。
目标终端获取单元120，用于若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合。
在本实施例中，当在云服务器中判定有部分数据上传终端未上传加密数据，由于之前云服务器中是存储有连接终端列表，该连接终端列表中详细列举了参与此次联邦学习的模型训练的所有数据上传终端的终端MAC地址(或是终端IP地址)，故当接收到该连接终端列表其中若干个数据上传终端上传的加密数据，在该连接终端列表中对应数据上传终端的上传标识位增加本轮加密数据已上传的标识并记录本轮加密数据上传时间。一旦该连接终端列表存在有数据上传终端的上传标识位未增加本轮数据已上传的标示且该数据上传终端对应的加密数据上传时间仍是上一轮的加密数据上传时间，表示该数据上传终端本轮仍未上传加密数据至云服务器。通过这一筛选过程，能有效预判哪些数据上传终端存在网络延迟的状况。
最大网络时延值获取单元130，用于获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值。
在本实施例中，当通过步骤S120获取了仍未上传加密数据的目标数据上传终端集合后，此时可以获取每一个目标数据上传终端的当前网络延时值，取其中的最大值作为最大网络时延值。之后以最大网络时延值为参考，可以计算出延时步长。
延时步长获取单元140，用于根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长。
在本实施例中，当已知了最大网络时延值后，调用本地存储的单位时序间隔步长，根据最大网络时延值/单位时序间隔步长即可计算出延时步长，该延时步长作为云服务器在本轮联邦学习过程中的时延调整的重要参数。
目标加密数据接收判断单元150，用于将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据。
在本实施例中，先将当前***时间与所述延时步长求和得到目标***时间，是因为在当前***时间至目标***时间这一段时间内，已经上传的加密数据就在云服务器的本地解密后进行参数聚合，若在当前***时间至目标***时间这一段时间内所有已上传的加密数据已完成了参数聚合后，目标数据上传终端仍未上传加密数据，此时在云服务器中停止参数聚合，延时等待至目标***时间。之后在目标***时间这一时刻云服务器再去检测是否接收到目标数据上传终端上传的目标加密数据。
时延稀疏更新单元160，用于若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
在本实施例中，例如假设当前***时间为t1，所述时延步长S＝12(时延步长S＝12对应400ms的时长)，目标***时间则是t1+S＝t2，则在t1～t2这一时间段内云服务器中根据所接收到的加密数据解密后进行参数聚合。若此时的时刻已到达t2，但是仍有目标数据上传终端未上传目标加密数据，此时在云服务器中开始等待目标加密数据上传而不再进行参数聚合，直至等到所有的目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
因此，时延步长的选择是与网络时延值的长短息息相关的，合适的时延步长可以最大程度的进行优化；网络时延值越高，则时延步长也要越大。网络时延值是100ms时，时延步长S＝4最佳；网络时延值是500ms时，时延步长S＝8最佳；网络时延值是1000ms时，时延步长S＝12最佳；网络时延值是5000ms时，时延步长S＝20最佳。网络时延值在100ms到500ms之间时，时延步长S＝8。
在一实施例中，高延时网络环境鲁棒的联邦学习训练装置100还包括：
继续训练控制单元，用于若接收到目标数据上传终端上传的目标加密数据，将所接收到的当前目标加密数据加入联邦学习模型的训练集，以进行本地的联邦学习训练。
在本实施例中，继续参考上述实例，若在t2之前目标数据上传终端上传的目标加密数据已全部上传完毕，之后就可以由云服务器将参数聚合结果同步发送至数据上传终端进行下一轮的训练。通过设置了时延步长这一参数，云服务器既可以先聚合一部分参数进行处理，之后新接收到的目标加密数据则实时加入参数聚合，这样先处理了一部分参数聚合后再等待新数据，可以有效提高参数聚合的效率。
在一实施例中，高延时网络环境鲁棒的联邦学习训练装置100还包括：
当前全局聚合梯度获取单元，用于获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度；
目标数据聚合梯度数获取单元，用于调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度；
弥补后模型参数计算单元，用于根据
Figure BDA0002647222350000111
计算得到弥补后模型参数；其中ω'(n,t)表示弥补后模型参数，ω(n,t)表示本地的联邦学习模型的模型参数，λ表示学习因子，
Figure BDA0002647222350000112
表示本地的当前全局聚合梯度，
Figure BDA0002647222350000113
表示目标数据聚合梯度。
在本实施例中，由于不再采用同步式随机梯度下降，此时为了充分还原同步式随机梯度的效果，需引入了误差弥补的梯度更新项去抵消时延更新带来的误差。当本轮联邦学习所有的数据上传终端均上传了加密数据后，根据弥补后模型参数＝本地的联邦学习模型的模型参数+学习因子*(本地的当前全局聚合梯度-目标数据聚合梯度)，以获取弥补后模型参数。
在一实施例中，高延时网络环境鲁棒的联邦学习训练装置100还包括：
模型参数发送单元，用于调用本地存储的公钥，将所述公钥和所述弥补后模型参数发送至各数据上传终端。
在本实施例中，当本轮完成了所有的参数据集合得到了弥补后模型参数后，此时云服务器可将本地的公钥和所述弥补后模型参数分别发送至各数据上传终端，以更新数据上传终端本地的模型参数。而且下一轮数据上传终端在上传数据之前，需根据所述公钥对数据加密后再上传至云服务器，以提高数据安全性。
在一实施例中，高延时网络环境鲁棒的联邦学习训练装置100还包括：
模型参数上链单元，用于将所述弥补后模型参数上传至区块链网络。
在本实施例中，云服务器可以作为一个区块链节点设备，以将所述弥补后模型参数上传至区块链网络，充分利用区块链数据不可篡改的特性，实现行弥补后模型参数固化存储。
其中，基于所述弥补后模型参数得到对应的摘要信息，具体来说，摘要信息由所述弥补后模型参数进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述弥补后模型参数是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一实施例中，高延时网络环境鲁棒的联邦学习训练装置100还包括：
上一模型参数发送时间获取单元，用于获取上一模型参数发送时间；
时序稀疏更新单元，用于判断当前***时间与上一模型参数发送时间之间的时间间隔是否等于预设的时序间隔；若当前***时间与上一模型参数发送时间之间的时间间隔等于所述时序间隔，执行获取当前***时间，判断是否接收到各数据上传终端上传的加密数据的步骤。
在本实施例中，为了降低各数据上传终端上传加密数据至云服务器的周期，可通过设置一个时序间隔来实现，即此时可以获取上一模型参数发送时间，判断当前***时间与模型参数发送时间之间的时间间隔是否等于预设的时序间隔。若当前***时间与上一模型参数发送时间之间的时间间隔等于所述时序间隔，表示上一次各数据上传终端上传加密数据之后经过了时序间隔时间长度的时间之后，云服务器才可以再次接收加密数据。通过这一方式实现了时序稀疏更新，大大减缓网络IO的压力。
该装置实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。
上述高延时网络环境鲁棒的联邦学习训练装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行高延时网络环境鲁棒的联邦学习训练方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行高延时网络环境鲁棒的联邦学习训练方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的高延时网络环境鲁棒的联邦学习训练方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的高延时网络环境鲁棒的联邦学习训练方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种高延时网络环境鲁棒的联邦学习训练方法，其特征在于，包括：
获取当前***时间，判断是否接收到各数据上传终端上传的加密数据；
若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；
获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；
根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；
将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及
若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
2.根据权利要求1所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，所述将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据之后，还包括：
若接收到目标数据上传终端上传的目标加密数据，将所接收到的当前目标加密数据加入联邦学习模型的训练集，以进行本地的联邦学习训练。
3.根据权利要求1所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，所述若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练之后，还包括：
获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度；
调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度；
根据
Figure FDA0002647222340000011
计算得到弥补后模型参数；其中ω'(n,t)表示弥补后模型参数，ω(n,t)表示本地的联邦学习模型的模型参数，λ表示学习因子，
Figure FDA0002647222340000012
表示本地的当前全局聚合梯度，
Figure FDA0002647222340000013
表示目标数据聚合梯度。
4.根据权利要求3所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，还包括：
调用本地存储的公钥，将所述公钥和所述弥补后模型参数发送至各数据上传终端。
5.根据权利要求4所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，还包括：
将所述弥补后模型参数上传至区块链网络。
6.根据权利要求4所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，所述获取当前***时间，判断是否接收到各数据上传终端上传的加密数据之前，还包括：
获取上一模型参数发送时间；
判断当前***时间与上一模型参数发送时间之间的时间间隔是否等于预设的时序间隔；
若当前***时间与上一模型参数发送时间之间的时间间隔等于所述时序间隔，执行所述获取当前***时间，判断是否接收到各数据上传终端上传的加密数据的步骤。
7.一种高延时网络环境鲁棒的联邦学习训练装置，其特征在于，包括：
数据接收判断单元，用于获取当前***时间，判断是否接收到各数据上传终端上传的加密数据；
目标终端获取单元，用于若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；
最大网络时延值获取单元，用于获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；
延时步长获取单元，用于根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；
目标加密数据接收判断单元，用于将当前***时间与所述延时步长求和得到目标***时间，若当前时间为目标***时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及
时延稀疏更新单元，用于若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。
8.根据权利要求7所述的高延时网络环境鲁棒的联邦学习训练装置，其特征在于，还包括：
继续训练控制单元，用于获若接收到目标数据上传终端上传的目标加密数据，将所接收到的当前目标加密数据加入联邦学习模型的训练集，以进行本地的联邦学习训练。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的高延时网络环境鲁棒的联邦学习训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的高延时网络环境鲁棒的联邦学习训练方法。
CN202010858570.XA 2020-08-24 2020-08-24 高延时网络环境鲁棒的联邦学习训练方法及装置 Active CN112001502B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010858570.XA CN112001502B (zh) 2020-08-24 2020-08-24 高延时网络环境鲁棒的联邦学习训练方法及装置
PCT/CN2020/118938 WO2021155671A1 (zh) 2020-08-24 2020-09-29 高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010858570.XA CN112001502B (zh) 2020-08-24 2020-08-24 高延时网络环境鲁棒的联邦学习训练方法及装置

Publications (2)

Publication Number Publication Date
CN112001502A true CN112001502A (zh) 2020-11-27
CN112001502B CN112001502B (zh) 2022-06-21

Family

ID=73471709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010858570.XA Active CN112001502B (zh) 2020-08-24 2020-08-24 高延时网络环境鲁棒的联邦学习训练方法及装置

Country Status (2)

Country Link
CN (1) CN112001502B (zh)
WO (1) WO2021155671A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516253A (zh) * 2021-07-02 2021-10-19 深圳市洞见智慧科技有限公司 一种联邦学习中数据加密优化方法及装置
CN114584581A (zh) * 2022-01-29 2022-06-03 华东师范大学 面向智慧城市物联网信物融合的联邦学习***及联邦学习训练方法
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、***及电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070775B (zh) * 2021-10-15 2023-07-07 上海智能网联汽车技术中心有限公司 面向5g智能网联***的区块链网络切片安全智能优化方法
CN114187006A (zh) * 2021-11-03 2022-03-15 杭州未名信科科技有限公司 一种基于区块链监管的联邦学习方法
CN114491623B (zh) * 2021-12-30 2024-06-07 北京邮电大学 一种基于区块链的异步联邦学习方法及***
CN114650227B (zh) * 2022-01-27 2023-08-18 北京邮电大学 一种分层联邦学习场景下的网络拓扑构建方法及***
CN115277689B (zh) * 2022-04-29 2023-09-22 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及***
CN115174412B (zh) * 2022-08-22 2024-04-12 深圳市人工智能与机器人研究院 针对异构联邦学习***的动态带宽分配方法以及相关设备
CN116506307B (zh) * 2023-06-21 2023-09-12 大有期货有限公司 全链路的网络延时情况分析***
CN117540388B (zh) * 2023-11-27 2024-07-23 广东电网有限责任公司 一种能源数据协同计算方法、装置和能源联邦学习***
CN118212914A (zh) * 2024-05-20 2024-06-18 山东云海国创云计算装备产业创新中心有限公司 语音识别方法、联邦学习方法、装置、***、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232445A1 (en) * 2015-02-06 2016-08-11 Google Inc. Distributed training of reinforcement learning systems
US20180262402A1 (en) * 2016-04-15 2018-09-13 Nec Laboratories America, Inc. Communication efficient sparse-reduce in distributed machine learning
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
US10438695B1 (en) * 2015-09-30 2019-10-08 EMC IP Holding Company LLC Semi-automated clustered case resolution system
US20200090045A1 (en) * 2017-06-05 2020-03-19 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
CN111382706A (zh) * 2020-03-10 2020-07-07 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、存储介质及遥感设备
CN111401621A (zh) * 2020-03-10 2020-07-10 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263908B (zh) * 2019-06-20 2024-04-02 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、***及存储介质
CN110443375B (zh) * 2019-08-16 2021-06-11 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN111091200B (zh) * 2019-12-20 2021-03-19 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能设备、服务器及存储介质
CN111401552B (zh) * 2020-03-11 2023-04-07 浙江大学 基于调整批量大小与梯度压缩率的联邦学习方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232445A1 (en) * 2015-02-06 2016-08-11 Google Inc. Distributed training of reinforcement learning systems
US10438695B1 (en) * 2015-09-30 2019-10-08 EMC IP Holding Company LLC Semi-automated clustered case resolution system
US20180262402A1 (en) * 2016-04-15 2018-09-13 Nec Laboratories America, Inc. Communication efficient sparse-reduce in distributed machine learning
US20200090045A1 (en) * 2017-06-05 2020-03-19 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN111382706A (zh) * 2020-03-10 2020-07-07 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、存储介质及遥感设备
CN111401621A (zh) * 2020-03-10 2020-07-10 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGYU WANG等: "Reinforcement Learning-Based Joint Task Offloading and Migration Schemes Optimization in Mobility-Aware MEC Network", 《中国通信》 *
秦超等: "基于Bagging-Down SGD算法的分布式深度网络", 《***工程与电子技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516253A (zh) * 2021-07-02 2021-10-19 深圳市洞见智慧科技有限公司 一种联邦学习中数据加密优化方法及装置
CN113516253B (zh) * 2021-07-02 2022-04-05 深圳市洞见智慧科技有限公司 一种联邦学习中数据加密优化方法及装置
CN114584581A (zh) * 2022-01-29 2022-06-03 华东师范大学 面向智慧城市物联网信物融合的联邦学习***及联邦学习训练方法
CN114584581B (zh) * 2022-01-29 2024-01-09 华东师范大学 面向智慧城市物联网信物融合的联邦学习***及联邦学习训练方法
CN114818011A (zh) * 2022-06-27 2022-07-29 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、***及电子设备

Also Published As

Publication number Publication date
WO2021155671A1 (zh) 2021-08-12
CN112001502B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112001502B (zh) 高延时网络环境鲁棒的联邦学习训练方法及装置
EP3780553B1 (en) Blockchain-based transaction consensus processing method and apparatus, and electrical device
US10630463B2 (en) Meta block chain
WO2018076760A1 (zh) 基于区块链的交易事务处理方法、***、电子装置及存储介质
CN107171810B (zh) 区块链的验证方法及装置
CN108270874B (zh) 应用程序的更新方法及装置
CN108989045B (zh) 防全局篡改的装置和***
CN110597489B (zh) 一种随机数生成方法、设备及介质
CN111008863B (zh) 一种基于区块链的抽奖方法及***
CN113609508A (zh) 一种基于区块链的联邦学习方法、装置、设备及存储介质
CN111556120A (zh) 基于区块链的数据处理方法、装置、存储介质及设备
CN110213038B (zh) 一种区块链形成共识的方法及***
US11509469B2 (en) Methods and systems for password recovery based on user location
CN109861828A (zh) 一种基于边缘计算的节点接入和节点认证方法
CN113225297B (zh) 数据混合加密方法、装置及设备
CN110224984A (zh) 一种基于区块链技术的多方授权方法及装置
CN111523150A (zh) 基于区块链的文档编辑方法、装置及***
CN110113334A (zh) 基于区块链的合同处理方法、设备及存储介质
CN111033491A (zh) 基于纠错编码存储共享的区块链数据
US10785025B1 (en) Synchronization of key management services with cloud services
CN112417052B (zh) 区块链网络中的数据同步方法、装置、设备及存储介质
CN111865595A (zh) 一种区块链的共识方法及装置
CN110585727B (zh) 一种资源获取方法及装置
CN110784318B (zh) 群密钥更新方法、装置、电子设备、存储介质及通信***
CN116992480A (zh) 一种提供公开可验证的外包计算服务的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant