CN115130683A - 一种基于多代理模型的异步联邦学习方法及*** - Google Patents

一种基于多代理模型的异步联邦学习方法及*** Download PDF

Info

Publication number
CN115130683A
CN115130683A CN202210842680.6A CN202210842680A CN115130683A CN 115130683 A CN115130683 A CN 115130683A CN 202210842680 A CN202210842680 A CN 202210842680A CN 115130683 A CN115130683 A CN 115130683A
Authority
CN
China
Prior art keywords
training
model
client
group
asynchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210842680.6A
Other languages
English (en)
Inventor
余国先
刘礼亮
王峻
郭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210842680.6A priority Critical patent/CN115130683A/zh
Publication of CN115130683A publication Critical patent/CN115130683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及异步联邦学习技术领域，提供了一种基于多代理模型的异步联邦学习方法及***，包括：在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；对组模型进行加权聚合得到全局模型。不仅能够解决同步联邦学习中的长时间的等待延迟问题，同时能够解决完全半异步联邦学习中的通信瓶颈问题。

Description

一种基于多代理模型的异步联邦学习方法及***
技术领域
本发明属于异步联邦学习技术领域，尤其涉及一种基于多代理模型的异步联邦学习方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
联邦学习算法涉及数以亿计的远程设备在其设备生成的数据上进行本地训练，并在作为聚合器的中央服务器的协调下集体训练一个全局的、共享的模型。
联邦平均算法的提出是联邦学***均算法运行时的高度理想环境需求，在现实异构客户端场景中也是存在着诸多问题，最典型的问题就是在每一轮训练中，训练较快的客户端需要等待最慢的客户端完成训练才能上传聚合更新全局模型，整个联邦学习的训练效率是由最慢的客户端决定的，这将大大的降低模型的训练效率，延长训练时间。
对于像联邦平均这种同步联邦学习，是在一个高度理想的场景中进行实验的，而在现实场景中由于设备的异构性和网络的不可靠性，不可避免的会出现一些掉队者(滞后的设备或者退出训练的设备)，所以在实际场景中更多的是使用一种异步的联邦训练方式，其中服务器无需等待滞后设备进行聚合。
目前存在的一种指数加权平均的异步联邦学习算法，不同客户端利用自己的本地数据集进行各自的本地模型训练，一旦有客户端完成训练，立刻将模型参数发送到中心服务器，然后中心服务器立刻聚合模型参数，而不需等待其他任何边缘设备。它的核心思想在于，越晚上传的本地模型给予它的权重越低，这样一种方式能够自适应的在收敛速度和方差减少之间进行权衡。但是它还是无法解决完全异步联邦学习中的固有问题，即本地客户端频繁的与中心服务器进行通信所造成的的通信瓶颈问题。
针对同步联邦学习中存在的训练等待延迟问题和完全异步联邦学习中的通信瓶颈问题，也有方法提出一种半异步的方式来中和存在的这两项巨大的问题，但是面对现实生活中更加复杂的异构客户端场景，还没有一种很好的方法可以在既能不损失模型精度的情况下，又能最大化的减少通信开销与训练延迟。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多代理模型的异步联邦学习方法及***，不仅能够解决同步联邦学习中的长时间的等待延迟问题，同时能够解决完全半异步联邦学习中的通信瓶颈问题。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多代理模型的异步联邦学习方法，其包括：
在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；
接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；
对组模型进行加权聚合得到全局模型。
进一步地，所述决策结果的获取方法为：
获取每个预训练客户端的状态；
将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
进一步地，所述预训练客户端的状态包括：训练轮次索引t、客户端上的数据量大小、到第t轮为止客户端参与本地模型更新与上传的次数、到第t轮为止客户端所在的组模型的更新次数、所有预训练客户端的通信开销和所有预训练客户端的训练延迟。
进一步地，所述强化学习代理网络以最大化累积回报为目标。
进一步地，对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
本发明的第二个方面提供一种基于多代理模型的异步联邦学习***，其包括：
客户端智能选择模块，其被配置为：在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；
组内同步训练模块，其被配置为：接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；
组间异步训练模块，其被配置为：对组模型进行加权聚合得到全局模型。
进一步地，所述客户端智能选择模块，具体被配置为：
获取每个预训练客户端的状态；
将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
进一步地，对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于多代理模型的异步联邦学习方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于多代理模型的异步联邦学习方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于多代理模型的异步联邦学习方法，其引入多智能体强化学习执行高效的客户端智能选择模式，用来替代以往联邦学习方法中的随机选择策略，不仅优化了模型精度，并且大大的提升了模型训练效率，比其他较为先进的半异步联邦学习方法在训练达到指定精度时花费更少的通信开销与训练延迟，可以应用于现实生活中的普遍广泛的异构客户端机器学习模型训练场景。
本发明提供了一种基于多代理模型的异步联邦学习方法，其每一个客户端有一个强化学习代理，它将根据自己的观测来决定是否参与本轮模型的训练与上传聚合，能够解决较为复杂的异构客户端场景中的机器学习模型训练问题，不仅能够解决同步联邦学习中的长时间的等待延迟问题，同时能够解决完全半异步联邦学习中的通信瓶颈问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种基于多代理模型的异步联邦学习方法的整体流程图；
图2是本发明实施例一的F-MNIST数据集上复杂场景下的精度变化图；
图3(a)是本发明实施例一的F-MNIST数据集上复杂场景下的通信开销图；
图3(b)是本发明实施例一的F-MNIST数据集上复杂场景下的训练延迟图；
图4是本发明实施例一的CIFAR-10数据集上复杂场景下的精度变化图；
图5(a)是本发明实施例一的CIFAR-10数据集上复杂场景下的通信开销图；
图5(b)是本发明实施例一的CIFAR-10数据集上复杂场景下的训练延迟图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
联邦学习算法的目标函数：
Figure BDA0003751735120000061
其中，
Figure BDA0003751735120000062
是客户端k的本地经验损失，li(xi,yi；w)是数据样本{xi,yi}对应的损失函数值，w为需要训练的机器学习模型；K是客户端总数，Dk(k∈{1,...,K})表示存储在本地客户端k上的数据样本，nk＝|Dk|表示客户端k上的数据样本数量；
Figure BDA0003751735120000063
为存储在K个客户端上的总数据样本数量；假设对于对于任何k≠k'，
Figure BDA0003751735120000064
联邦学习算法的最终目标：找到一个模型w*来最小化目标函数：
w*＝arg min f(w)
联邦平均算法：一种在非凸设置下用同步更新方式解决联邦学习算法的最终目标中定义的优化问题的常用方法。这种方法通过在每一轮以一定的概率随机抽样客户端子集来进行模型训练，每个本地客户端使用一个优化器(比如随机梯度下降)使用自己的数据进行若干次次本地迭代。
指数加权平均的异步联邦学习算法中的全局模型的更新方式：
αt←α×s(t-τ)
wt←(1-αt)wt-1+αtwnew
其中，τ为最快的客户端上传更新全局模型时的轮次索引，t为当前轮次索引，α∈(0,1)为混合系数，αt为当前轮次t动态更新后的系数，wt-1为上一轮次训练得到的陈旧模型，wnew为当前训练得到的新的模型，wt为加权更新得到的用于下一次训练的新的模型，s(·)为模型陈旧度函数，可以取值
Figure BDA0003751735120000065
实施例一
本实施例提供了一种基于多代理模型的异步联邦学习方法，如图1所示，具体包括以下步骤：
步骤1、客户端智能选择阶段。在每轮(第t轮)训练时，在每组客户端groupm中随机选择若干个(|P|个)预训练客户端，获取每个预训练客户端的状态，将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
假设现在有一个联邦学习任务将所有客户端分成M组，针对其中一个组groupm进行形式化描述，其他组类似。groupm在每一次训练轮t中随机选择|P|个预训练客户端，然后|P|个客户端分别根据自身的强化学习代理决策是否参与本轮模型的训练与上传，决策后将有|P'|个客户端进行本地同步联邦训练与模型上传更新。客户端n与中心服务器每次通信(上传或下载模型)的通信开销为一个固定值Bn，客户端n的响应时间CPn用该客户端进行一次本地训练所经历的全局轮次数量来表示，CPn值越大，表示该客户端进行一次本地训练的时间越长，响应越慢，客户端n的训练延迟
Figure BDA0003751735120000071
组模型的更新需要等待组内最慢的客户端完成本地训练。
步骤101、被选中进行预训练的客户端得到各自当前的状态：
Figure BDA0003751735120000072
每一个强化学习代理n的状态空间由六个部分组成，分别是：当前训练轮次索引t、对应的客户端n上的数据量大小|Dn|、到第t轮为止客户端n参与本地模型更新与上传的次数
Figure BDA0003751735120000073
到第t轮为止客户端n所在的groupm组模型更新次数为
Figure BDA0003751735120000074
所有预训练客户端的通信开销Bt＝{Bj|j∈P}、所有预训练客户端的训练延迟
Figure BDA0003751735120000075
步骤102、将当前状态输入到强化学习代理网络得到决策结果：
Figure BDA0003751735120000081
其中，1表示该客户端参与本轮模型的训练与上传，0表示不参与。
其中，强化学习代理网络以最大化累积回报为目标，具体的：
组内完成训练后上传组模型更新全局模型然后计算奖励：
Figure BDA0003751735120000082
其中，u为一个大于1的常数，将根据实验条件选取合适的值，acct表示在第t轮选取合适的客户端训练完成后更新得到的全局模型在测试集上的精度，acclast表示最新全局模型精度，
Figure BDA0003751735120000083
表示第t轮智能选择的所有客户端的通信开销之和，
Figure BDA0003751735120000084
表示第t轮智能选择的所有客户端的训练延迟之和；
强化学习代理网络将被训练从而最大化累积回报R的期望，累计回报R的描述如下：
Figure BDA0003751735120000085
其中，E为全局模型的总更新次数，γ∈(0,1]是未来奖励的折扣因子。
步骤2、组内同步训练阶段。接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型。
一个组内决策进行模型训练与上传的所有客户端将进行同步的联邦训练得到组模型：
Figure BDA0003751735120000086
Figure BDA0003751735120000091
其中，Pt'、|Pt'|、nk、Nc、η、
Figure BDA0003751735120000092
分别表示在第t轮groupm智能选择的客户端子集、智能选择的客户端数量、客户端k上的数据量、Pt'中的所有数据量、学习率、客户端k的本地经验损失的梯度。
步骤3、组间异步训练阶段。对组模型进行加权聚合得到全局模型。对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
假设将所有客户端分成了M组，到目前为止，每一组的更新次数分别为T1，T2,…,TM，所有组的更新总数为T1+T2+...+TM＝T，则加权聚合得到全局模型的描述如下所示：
Figure BDA0003751735120000093
其中，
Figure BDA0003751735120000094
为groupm对应的权重，
Figure BDA0003751735120000095
根据这个公式相对较慢的组M+1-m的值更小，T(M+1-m)值更大，从而被分配一个更大的权重值。
本发明为了能够解决同步联邦学习中的长时间的等待延迟问题，同时能够解决完全半异步联邦学习中的通信瓶颈问题，本实施例提出了一种基于多代理模型的异步联邦学习方法(简记为MAAFL)，与其他半异步方法不同的是，本发明引入多智能体强化学习执行高效的组内客户端智能选择，每一个客户端有一个强化学习代理，它将根据自己的观测来决定是否参与本轮模型的训练与上传聚合；该发明通过在异步场景中结合多智能体强化学习执行高效的客户端智能选择策略，不仅能优化模型精度，并且大大的提升了模型训练效率，比其他较为先进的半异步联邦学习方法在训练达到指定精度时花费更少的通信开销与训练延迟。
本实施例将MAAFL和同步的联邦平均方法(简记为FedAvg)以及完全异步的异步联邦方法(简记为FedAsync)与分层的半异步方法(简记为FedAT)进行对比实验。
同步的联邦平均方法(简记为FedAvg)是一种基线联邦学***均聚合。
完全异步的异步联邦方法(简记为FedAsync)使用加权平均更新服务器全局模型的一种基线异步联邦学***均得到最新的全局模型，然后与当前所有可用的客户端通信进行训练
分层的半异步方法(简记为FedAT)一种半异步联邦学习方法，结合了同步层内训练和跨层异步训练。层内采用随机选择策略选取部分客户端进行同步联邦训练，层与层之间使用异步的方式与中心服务器通信更新全局模型。
为了验证基于多代理模型的异步联邦学习方法的有效性，实验比较了FedAvg，FedAsync，FedAT，MAAFL训练的模型精度以及达到指定精度所花费的通信开销与训练延迟。
在实验中，使用了三种数据集，分别是MNIST，Fashion-MNIST，CIFAR-10,MNIST是一个包含60,000个样本的训练集和10,000个样本的测试集的手写识别体数据集。每个示例都是一个28×28维度的灰度图像，与来自10个类的标签相关联；Fashion-MNIST是一个包含60,000个样本的训练集和10,000个样本的测试集的服饰图片数据集。每个示例都是一个28×28维度的灰度图像，与来自10个类的标签相关联；CIFAR-10数据集包含60000幅32×32维度的彩色图像，分为10个类，每类6000幅，有5000幅用于训练和1000幅用于测试。
实验分别在这三个不同数据集上对模型进行评估，都采用非独立同分布的数据划分方式。具体来说，首先根据类别标签将每个数据集的所有数据划分成200个碎片，在10个类别标签中，每个标签对应的所有数据分别划分到20个碎片，为每个本地客户端分配2个属于不同标签类别的碎片。这样划分是为了保证在100个本地客户端中，每个客户端上只有两个类别标签的数据，并且每个客户端上的数据大小不相同，从而保证了训练是在非独立同分布的数据环境中进行。
实验将每个客户的本地数据随机分成80％的训练集和20％的测试集，对于组内同步训练，采用与联邦平均相同的抽样方法，MAAFL先随机选择一部分客户端作为预训练客户端，之后每个预训练客户端分别执行智能决策来决定是否参与本轮的训练，使用随机梯度下降(SGD)作为局部优化器。对于所有数据集，本地模型的训练配置参数统一：学习率为0.01，本地迭代次数为3，批量大小为10，对于所有算法，随机选择的预训练客户端数量设置为20。
实验模拟了不同的性能组，首先将所有的客户端平均划分为5组，然后为每组的客户端分别随机分配响应时间1～3轮，3～5轮，5～7轮，7～9轮，9～11轮。此外，为了模拟不稳定的网络连接，对于运行的所有测试，随机选择20个“不稳定”客户端，这些客户端在训练过程中会以一定的小概率退出训练。一旦客户退出，就不会再回来重新加入联邦训练。
实验中每个本地客户端与中央服务器每次通信(上传或下载模型)的通信开销是固定的，为了模拟实际场景中本地客户端的异构性，给每个客户端在固定范围内随机分配一个固定的通信开销值，不同的客户端具有不同的通信开销。总的通信开销为所有的客户端在整个训练过程中与中央服务器的通信开销总和。
实验中由于不同本地客户端的计算能力等因素的差异，从而带来每一轮本地训练模型的延迟上传。在一轮中被智能选择进行训练的本地客户端中，快的客户端需要等待慢的客户端，比如响应时间为2轮的客户端需要等待响应时间为5轮的客户端，延迟为3个全局轮次。总训练延迟就是整个训练过程中每个客户端的训练延迟的累加。
在三个数据集上分别评估算法MAAFL和三个对比方法，每个算法在每个数据集上运行三次，每一次都运行至模型收敛得到最优全局模型精度，将三次最优结果平均得到最优全局模型平均精度，并且计算得到三次结果的标准差得到结果如表1所示。
表1、不同算法在三个数据集上的精度表现
Figure BDA0003751735120000121
Figure BDA0003751735120000131
在三个数据集上达到指定精度所花费的通信开销与训练延迟如表2、表3和表4所示。
表2、不同算法在MNIST数据集上达到指定精度所花费的通信开销和训练延迟
Figure BDA0003751735120000132
表3、不同算法在F-MNIST数据集上达到指定精度所花费的通信开销和训练延迟
Figure BDA0003751735120000141
表4、不同算法在CIFAR-10数据集上达到指定精度所花费的通信开销和训练延迟
Figure BDA0003751735120000142
实验进一步模拟了更加复杂的场景，将最慢客户端的响应时间设置为落后21轮，得到的实验结果如图2、图3(a)、图3(b)、图4、图5(a)和图5(b)所示。
从这些实验结果可以看出，在一般场景下虽然MAAFL方法整体性能比不过同为半异步方式的FedAT，但是它也有自身的优点，并且在更加复杂的场景下MAAFL在精度和训练效率上均超过FedAT。实验结果的亮点总结如下：
(1)相比于FedAvg，MAAFL能够很好地解决FedAvg中存在的训练延迟问题，这在现实异构场景中具有非常重要的意义，避免了客户端之间的长时间等待过程；
(2)相比于FedAsync，MAAFL避免了通信瓶颈问题，解决了完全异步方法中频繁的与中心服务器通信所造成的通信瓶颈问题；
(3)与同为半异步方法的FedAT相比，MAAFL在复杂场景中更能凸显其优势，不仅在精度是超过FedAT，而且在两个较复杂的数据集上达到指定精度时比FedAT平均最高减少44％的训练延迟以及36％的通信开销。
本实施例首先将所有参加联邦训练的客户端根据它们的响应时间分组，组内进行同步的联邦训练得到组模型，组与组之间通过异步加权的方式更新组模型，并且引入了多智能体强化学习，每一个客户端有一个强化学习代理，它们将根据自己的观测来决定是否参与本轮模型的训练。本发明能够解决较为复杂的异构客户端场景中的机器学习模型训练问题，不仅能够解决同步联邦学习中的长时间的等待延迟问题，同时能够解决完全半异步联邦学习中的通信瓶颈问题，此外，本发明引入多智能体强化学习执行高效的客户端智能选择模式用来替代以往联邦学习方法中的随机选择策略，不仅优化了模型精度，并且大大的提升了模型训练效率，比其他较为先进的半异步联邦学习方法在训练达到指定精度时花费更少的通信开销与训练延迟，可以应用于现实生活中的普遍广泛的异构客户端机器学习模型训练场景。
实施例二
本实施例提供了一种基于多代理模型的异步联邦学习***，其具体包括如下模块：
客户端智能选择模块，其被配置为：在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；
组内同步训练模块，其被配置为：接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；
组间异步训练模块，其被配置为：对组模型进行加权聚合得到全局模型。
其中，客户端智能选择模块，具体被配置为：
获取每个预训练客户端的状态；
将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
其中，对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于多代理模型的异步联邦学习方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于多代理模型的异步联邦学习方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多代理模型的异步联邦学习方法，其特征在于，包括：
在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；
接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；
对组模型进行加权聚合得到全局模型。
2.如权利要求1所述的一种基于多代理模型的异步联邦学习方法，其特征在于，所述决策结果的获取方法为：
获取每个预训练客户端的状态；
将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
3.如权利要求2所述的一种基于多代理模型的异步联邦学习方法，其特征在于，所述预训练客户端的状态包括：训练轮次索引t、客户端上的数据量大小、到第t轮为止客户端参与本地模型更新与上传的次数、到第t轮为止客户端所在的组模型的更新次数、所有预训练客户端的通信开销和所有预训练客户端的训练延迟。
4.如权利要求2所述的一种基于多代理模型的异步联邦学习方法，其特征在于，所述强化学习代理网络以最大化累积回报为目标。
5.如权利要求1所述的一种基于多代理模型的异步联邦学习方法，其特征在于，对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
6.一种基于多代理模型的异步联邦学习***，其特征在于，包括：
客户端智能选择模块，其被配置为：在每组客户端中随机选择若干个预训练客户端，并获取每个预训练客户端是否参与模型的训练与上传的决策结果；
组内同步训练模块，其被配置为：接收每组客户端中参与模型的训练与上传的客户端训练得到的本地模型，得到组模型；
组间异步训练模块，其被配置为：对组模型进行加权聚合得到全局模型。
7.如权利要求6所述的一种基于多代理模型的异步联邦学习***，其特征在于，所述客户端智能选择模块，具体被配置为：
获取每个预训练客户端的状态；
将每个预训练客户端的状态输入到强化学习代理网络，得到每个预训练客户端是否参与模型的训练与上传的决策结果。
8.如权利要求6所述的一种基于多代理模型的异步联邦学习***，其特征在于，对组模型进行加权聚合时，每个组模型的权重与每一组的组模型的更新次数相关。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的一种基于多代理模型的异步联邦学习方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的一种基于多代理模型的异步联邦学习方法中的步骤。
CN202210842680.6A 2022-07-18 2022-07-18 一种基于多代理模型的异步联邦学习方法及*** Pending CN115130683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842680.6A CN115130683A (zh) 2022-07-18 2022-07-18 一种基于多代理模型的异步联邦学习方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842680.6A CN115130683A (zh) 2022-07-18 2022-07-18 一种基于多代理模型的异步联邦学习方法及***

Publications (1)

Publication Number Publication Date
CN115130683A true CN115130683A (zh) 2022-09-30

Family

ID=83384447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842680.6A Pending CN115130683A (zh) 2022-07-18 2022-07-18 一种基于多代理模型的异步联邦学习方法及***

Country Status (1)

Country Link
CN (1) CN115130683A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029371A (zh) * 2023-03-27 2023-04-28 北京邮电大学 基于预训练的联邦学习工作流构建方法及相关设备
CN116306986A (zh) * 2022-12-08 2023-06-23 哈尔滨工业大学（深圳） 一种基于动态亲和力聚合的联邦学习方法及相关设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091200A (zh) * 2019-12-20 2020-05-01 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及存储介质
US20210012224A1 (en) * 2019-07-14 2021-01-14 Olivia Karen Grabmaier Precision hygiene using reinforcement learning
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN112668877A (zh) * 2020-12-25 2021-04-16 西安电子科技大学 结合联邦学习和强化学习的事物资源信息分配方法及***
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习***
CN113191484A (zh) * 2021-04-25 2021-07-30 清华大学 基于深度强化学习的联邦学习客户端智能选取方法及***
CN113490254A (zh) * 2021-08-11 2021-10-08 重庆邮电大学 一种基于联邦学习双向gru资源需求预测的vnf迁移方法
CN113643553A (zh) * 2021-07-09 2021-11-12 华东师范大学 基于联邦强化学习的多路口智能交通信号灯控制方法及***
CN113971089A (zh) * 2021-09-27 2022-01-25 国网冀北电力有限公司信息通信分公司 联邦学习***设备节点选择的方法及装置
CN114037089A (zh) * 2021-10-26 2022-02-11 中山大学 一种面向异质场景的异步联邦学习方法、装置及存储介质
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、***及存储介质
CN114580658A (zh) * 2021-12-28 2022-06-03 天翼云科技有限公司 基于区块链的联邦学习激励方法、装置、设备和介质
CN114584581A (zh) * 2022-01-29 2022-06-03 华东师范大学 面向智慧城市物联网信物融合的联邦学习***及联邦学习训练方法
CN114971819A (zh) * 2022-03-28 2022-08-30 东北大学 基于多智能体强化学习算法在联邦学习下的用户竞价方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012224A1 (en) * 2019-07-14 2021-01-14 Olivia Karen Grabmaier Precision hygiene using reinforcement learning
CN111091200A (zh) * 2019-12-20 2020-05-01 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及存储介质
WO2021121029A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及计算机可读存储介质
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN112668877A (zh) * 2020-12-25 2021-04-16 西安电子科技大学 结合联邦学习和强化学习的事物资源信息分配方法及***
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习***
CN113191484A (zh) * 2021-04-25 2021-07-30 清华大学 基于深度强化学习的联邦学习客户端智能选取方法及***
CN113643553A (zh) * 2021-07-09 2021-11-12 华东师范大学 基于联邦强化学习的多路口智能交通信号灯控制方法及***
CN113490254A (zh) * 2021-08-11 2021-10-08 重庆邮电大学 一种基于联邦学习双向gru资源需求预测的vnf迁移方法
CN113971089A (zh) * 2021-09-27 2022-01-25 国网冀北电力有限公司信息通信分公司 联邦学习***设备节点选择的方法及装置
CN114037089A (zh) * 2021-10-26 2022-02-11 中山大学 一种面向异质场景的异步联邦学习方法、装置及存储介质
CN114580658A (zh) * 2021-12-28 2022-06-03 天翼云科技有限公司 基于区块链的联邦学习激励方法、装置、设备和介质
CN114584581A (zh) * 2022-01-29 2022-06-03 华东师范大学 面向智慧城市物联网信物融合的联邦学习***及联邦学习训练方法
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、***及存储介质
CN114971819A (zh) * 2022-03-28 2022-08-30 东北大学 基于多智能体强化学习算法在联邦学习下的用户竞价方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIAN SHI 等: "Make Smart Decisions Faster: Deciding D2D Resource Allocation via Stackelberg Game Guided Multi-Agent Deep Reinforcement Learning", 《IEEE TRANSACTIONS ON MOBILE COMPUTING》, 1 June 2021 (2021-06-01) *
SAI QIAN ZHANG 等: "A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning", 《ARXIV》, 9 January 2022 (2022-01-09), pages 3 - 5 *
梁应敞;谭俊杰;DUSIT NIYATO;: "智能无线通信技术研究概况", 通信学报, no. 07, 31 December 2020 (2020-12-31) *
郭伟: "我国中小企业外部融资环境研究", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》, no. 5, 15 May 2013 (2013-05-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306986A (zh) * 2022-12-08 2023-06-23 哈尔滨工业大学（深圳） 一种基于动态亲和力聚合的联邦学习方法及相关设备
CN116306986B (zh) * 2022-12-08 2024-01-12 哈尔滨工业大学（深圳） 一种基于动态亲和力聚合的联邦学习方法及相关设备
CN116029371A (zh) * 2023-03-27 2023-04-28 北京邮电大学 基于预训练的联邦学习工作流构建方法及相关设备
CN116029371B (zh) * 2023-03-27 2023-06-06 北京邮电大学 基于预训练的联邦学习工作流构建方法及相关设备

Similar Documents

Publication Publication Date Title
CN115130683A (zh) 一种基于多代理模型的异步联邦学习方法及***
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
CN113191484B (zh) 基于深度强化学习的联邦学习客户端智能选取方法及***
CN111507768B (zh) 一种***的确定方法及相关装置
Yoshida et al. MAB-based client selection for federated learning with uncertain resources in mobile networks
CN113516250A (zh) 一种联邦学习方法、装置、设备以及存储介质
CN105184367B (zh) 深度神经网络的模型参数训练方法及***
CN110956202B (zh) 基于分布式学习的图像训练方法、***、介质及智能设备
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
CN111406264A (zh) 神经架构搜索
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN113469325A (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN115374853A (zh) 基于T-Step聚合算法的异步联邦学习方法及***
CN109558898B (zh) 一种基于深度神经网络的高置信度的多选择学习方法
CN114169543A (zh) 一种基于模型陈旧性与用户参与度感知的联邦学习算法
CN113850394A (zh) 联邦学习方法、装置、电子设备及存储介质
WO2022252694A1 (zh) 神经网络优化方法及其装置
CN116384504A (zh) 联邦迁移学习***
CN117785490B (zh) 一种图神经网络模型的训练架构、方法、***及服务器
CN113094180B (zh) 无线联邦学习调度优化方法及装置
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及***
CN110378464A (zh) 人工智能平台的配置参数的管理方法和装置
Wang et al. An organizational cooperative coevolutionary algorithm for multimode resource-constrained project scheduling problems
CN113033653A (zh) 一种边-云协同的深度神经网络模型训练方法
CN113377884A (zh) 基于多智能体增强学习的事件语料库提纯方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination