CN114169543A - 一种基于模型陈旧性与用户参与度感知的联邦学习算法 - Google Patents

Abstract

本发明公开了一种基于模型陈旧性与用户参与度感知的联邦学习算法，涉及联邦学习技术领域。该算法将参与任务的客户端分成不同的性能层级，每次选取客户端时选取同一性能层级的客户端，实现了联邦学习由随机选取客户端到有选择地选取客户端的转变，提高了联邦学习的通信效率；使用一个添加了全局模型近端项的目标函数作为各客户端训练本地模型的目标函数，改善了全局模型偏向某一客户端本地模型的问题；通过设置一个自适应超参数以及考虑客户端的本地模型对云中心服务器上最新的全局模型的滞后程度，提出了一种基于模型陈旧性与用户参与度感知相结合的更新方式，来对全局模型进行动态调整，解决了联邦学习中全局模型偏向某一客户端本地模型的问题。

Description

一种基于模型陈旧性与用户参与度感知的联邦学习算法

技术领域

本发明涉及联邦学习技术领域，具体涉及一种基于模型陈旧性与用户参与度感知的联邦学习算法。

背景技术

现代移动和物联网设备(如智能手机、智能穿戴设备、智能家居设备)每天都产生大量数据，这为构建复杂的机器学习模型来解决具有挑战性的人工智能问题提供了机会。然而，这些包含个人敏感信息的数据却极容易泄露，国际社会上对信息安全、个人隐私的保护问题也愈加重视，各种相关的法案随之相继颁布，对私人数据的管理、监督、保护更加全面化、严格化、密集化。各大公司对各自的数据也越来越重视，将其作为资产而不再拿出来分享，这就造成了数据孤岛的现象。此外，受限于现实生活中有限的无线网络通信资源，将大量的训练数据从边缘设备传输到云中心服务器是一个巨大的挑战。

种种原因都使得在本地存储数据，同时将计算推到边缘变得越来越有吸引力，联邦学习由此应运而生。图1即为联邦学习更新步骤的示意图。参考图1所示，联邦学习不要求各客户端共享属于他们的私有数据，而是让每个客户端都在本地训练模型，并将训练后得到的模型传递给云中心服务器；然后，云中心服务器将这些经训练后得到的模型聚合为一个全局模型；最后，各客户端从云中心服务器上下载聚合后的全局模型，并不断重复以上几个过程，由此完成各类人工智能任务。

联邦优化算法是联邦学***均算法，其核心思想是每次选取批量客户端并让其在本地执行多次随机梯度下降算法，来降低客户端与云中心服务器之间的通信频率，以达到降低通信成本的目的。但该算法会导致全局模型偏向某一客户端本地模型的问题，且对通信效率的提升并不明显。此外，联邦学习环境中具有的***异构性--每个设备的存储、计算和通信能力可能会因硬件(CPU、内存)、网络连接(3G、4G、5G、WIFI)和电源(电池电量)的不同而有所不同，和数据异构性--每个客户端的数据量不同、数据是非独立同分(Non_IID)的，会导致云中心服务器与客户端之间的每轮通信，必然受到参与该轮通信的客户端中需要通信最长时间的客户端的影响，从而使得联邦学习的通信效率受到极大限制，无法适用于实际场景。

由此，一些研究者开始使用异步联邦学习算法：最先完成本地训练得到本地模型的客户端，无需等待那些尚未完成此次本地训练的客户端，就可以直接发送其本地模型给云中心服务器，云中心服务器接收该客户端的本地模型后便进行聚合，然后立即将聚合后得到的全局模型再发送给该客户端，继而该客户端在接收到新的全局模型后也立刻开始进行新一轮的本地训练，如此持续迭代，最终完成全局模型的更新。虽然该方法实现了客户端与云中心服务器的无等待更新，但是它们之间的通信频率也必然大大增加，对于资源的耗费也更多。而且，此方法未能考虑不同客户端之间的通信差异性所带来的全局模型偏向某一客户端的本地模型，以及需要更长时间完成通信的客户端因其自身的模型陈旧性而影响全局模型的问题。

发明内容

针对现有技术存在的问题，本发明提供了一种基于模型陈旧性与用户参与度感知的联邦学习算法。

本发明的技术方案是：

一种基于模型陈旧性与用户参与度感知的联邦学习算法，该算法包括如下步骤：

步骤1：云中心服务器将参与任务的各客户端划分成不同的性能层级；

步骤2：云中心服务器初始化全局模型以及所需的全局变量；所述全局变量包括云中心服务器与客户端的通信总轮数T，n个性能层级的客户端集合u₁,u₂,...,u_n，各性能层级的客户端集合被云中心服务器选中进行本地模型训练的机会数p₁,p₂,...,p_n，以及根据所述机会数确定的各性能层级客户端集合的初始采样率ρ₁,ρ₂,...,ρ_n；

步骤3：云中心服务器与客户端开始首轮通信，也就是通信轮数t＝0，在本轮通信中云中心服务器按照相应的初始采样率分别从每一性能层级的客户端集合中随机采样部分客户端，获得用于首轮本地模型训练的客户端集合，并通知被采样的客户端从云中心服务器上下载初始化后的全局模型；

步骤4：被采样的客户端在收到云中心服务器的通知后，开始从云中心服务器下载当前最新的全局模型，并将其作为被采样的客户端进行下一轮本地模型训练的初始模型；

步骤5：从同一性能层级采样的各个客户端根据本地数据并行地使用随机梯度下降算法进行本地模型训练，来得到各自多轮迭代训练后的本地模型；

步骤6：完成本地模型训练的各客户端上传本地模型给云中心服务器；

步骤7：对于完成本地模型训练的每一客户端所对应的性能层级的客户端集合，云中心服务器将其被选中进行本地模型训练的机会数数值减1，并根据当前的机会数数值更新该客户端集合的采样率；

步骤8：云中心服务器将已完成本地模型训练的属于同一性能层级的客户端上传的本地模型进行聚合，并更新全局模型；

步骤9：针对已完成本地模型训练的客户端，云中心服务器从其所对应的性能层级的客户端集合中按照更新的采样率随机采样部分客户端，并通知此部分客户端从云中心服务器下载最新的全局模型；

步骤10：判断是否当前云中心服务器与客户端的通信轮数t≥T，若否，则令t＝t+1，并转至步骤4，进行下一轮的全局模型更新，若是，则视为任务结束。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，根据各客户端完成同一任务所耗费的时间，云中心服务器将参与任务的所述各客户端划分成不同的性能层级。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，所述步骤1包括如下步骤：

步骤1-1：云中心服务器将同一个机器学习任务分发给参与任务的各客户端，并设置客户端本地模型训练轮数R、客户端每轮本地模型训练的最大耗时T_max以及客户端性能层级数量n；

步骤1-2：各所述客户端接收到云中心服务器发送的机器学习任务后，执行R轮本地模型训练，每一所述客户端在每轮本地模型训练完毕后，发送每轮本地模型训练的耗时T_i给云中心服务器；

步骤1-3：云中心服务器接收到每一所述客户端的每轮本地模型训练的耗时T_i时，将大于或者等于T_max的耗时均计时为T_max；

步骤1-4：R轮本地模型训练完成后，从所有参与任务的客户端中除去总耗时Total_T_i大于或者等于R*T_max的客户端，对剩余的客户端按照其各自执行R轮本地模型训练的总耗时Total_T_i划分为n个性能层级。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，所述对剩余的客户端按照其各自执行R轮本地模型训练的总耗时Total_T_i划分为n个性能层级的方法为：按照总耗时Total_T_i对各客户端进行排序，然后依照此排序将每

个客户端分为一组，视为同一性能层级，其中，N为客户端总数量，n为预设的性能层级总数。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，每一性能层级的客户端集合对应的采样率与该客户端集合被云中心服务器选中进行本地模型训练的机会数之间的关系如下：

其中，ρ_n表示第n个层级的客户端集合所对应的采样率；p_n表示第n个层级的客户端集合被云中心服务器选中进行本地模型训练的机会数。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，采样的客户端利用用随机梯度下降算法解决下式的正则化优化问题，来得到该客户端在多轮迭代训练后的本地模型W_t ^i,k：

上式中，F_i,k(W)表示性能层级为i的客户端集合中的第k个客户端的本地损失函数；μ是正则化参数；W_t是客户端从云中心服务器下载的最新全局模型；W是客户端的本地模型；

是全局模型近端项；h_i,k(W；W_t)是在客户端本地训练的损失函数的基础上添加了全局模型近端项的目标函数。

进一步地，根据所述的基于模型陈旧性与用户参与度感知的联邦学习算法，所述步骤8进一步包括如下步骤：

步骤8-1：云中心服务器将已完成本地模型训练的属于同一性能层级的各客户端上传的本地模型按照下式进行聚合：

上式中，

表示对属于性能层级i的各客户端上传的本地模型进行聚合后的模型，|S_i|为该性能层级i的客户端集合的规模；

步骤8-2：云中心服务器按照下式的基于模型陈旧性与用户参与度感知相结合的方式来更新全局模型：

上式中，W_t+1是云中心服务器上在第t+1轮更新后得到的最新的全局模型；ρ_i是性能层级为i的客户端集合所对应的采样率；

是与客户端模型陈旧性有关的系数，该系数用来衡量客户端上传的本地模型对于云中心服务器上最新的全局模型的滞后性；

由α和s_τ共同决定，其中，α为分布于(0～1)的自适应超参数，

表示当前第t轮客户端上传的本地模型对云中心服务器上最新的全局模型的滞后程度，τ为客户端上传本地模型到云中心服务器上所需要的时间间隔。

与现有技术相比，本发明具有如下有益效果：

(1)本发明算法中，云中心服务器分发同一个机器学习任务给所有参与任务的客户端，根据各客户端完成该任务所耗费的总时间，将它们分成不同的性能层级，每次选取客户端时可以选取同一性能层级的客户端，从而实现了联邦学习由随机选取客户端到有选择地选取客户端的转变，大大减少了云中心服务器与客户端每轮通信所需的时间，极大地提高了联邦学习的通信效率。

(2)不同于传统联邦学习算法，直接将各客户端的损失函数作为其本地模型训练的目标函数，本发明算法使用一个添加了全局模型近端项的目标函数，来作为各客户端训练本地模型的目标函数，极大地改善了全局模型偏向某一客户端本地模型的问题，从而在加速算法收敛的同时也大大提升了精度。

(3)本发明算法通过设置一个自适应超参数以及考虑客户端的本地模型对云中心服务器上最新的全局模型的滞后程度，提出了一种基于模型陈旧性与用户参与度感知相结合的更新方式，来对全局模型进行动态调整：当某个性能层级的客户端与云中心服务器的通信频繁时，该更新方式会限制该性能层级的客户端集合对应的采样率，使得下次从该性能层级客户端集合中采样的客户端规模下降，从而降低其对全局模型的影响；另一方面，当某个性能层级的客户端与云中心服务器通信不佳时，该更新方式会限制其在全局模型中的权重，防止所述性能层级的客户端因长时间未与云中心服务器通信而造成的模型陈旧性问题。这种更新方式，有效地解决了联邦学习中全局模型会偏向某一客户端本地模型以及通信效率不佳的问题，使联邦学习可以应用到更多的实际场景中。

附图说明

图1为联邦学习更新步骤的示意图；

图2为本实施方式基于模型陈旧性与用户参与度感知的联邦学习算法的流程示意图；

图3为本实施方式客户端性能分层的流程图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

图2是本发明的基于模型陈旧性与用户参与度感知的联邦学习算法的流程图，如图2所示，该算法包括如下步骤：

步骤1：根据各客户端完成同一任务所耗费的时间，云中心服务器将参与任务的所述各客户端分成不同的性能层级。

在本实施例中，云中心服务器分发同一个机器学习任务给所有的客户端，根据各客户端完成该任务所耗费的总时间，将它们分成不同的性能层级，具体流程如图3所示，包括以下子步骤：

步骤1-1：云中心服务器分发同一个机器学习任务给相应客户端，并设置客户端本地模型训练轮数R、客户端每轮本地模型训练的最大耗时T_max以及客户端性能层级数量n；

步骤1-2：各所述客户端接收到云中心服务器发送的机器学习任务后，执行R轮本地模型训练，每一所述客户端在每轮本地模型训练完毕后，发送每轮本地模型训练的耗时T_i给云中心服务器；

步骤1-3：云中心服务器接收到每一所述客户端的每轮本地模型训练的耗时T_i时，将大于或者等于T_max的耗时均计时为T_max；

步骤1-4：R轮本地模型训练完成后，从所有参与执行机器学习任务的客户端中除去总耗时Total_T_i大于或者等于R*T_max的客户端，对剩余的客户端按照其各自执行R轮本地模型训练的总耗时Total_T_i划分为n个性能层级。

R轮本地模型训练完成后，总耗时Total_T_i大于或等于R*T_max的客户端被认为是离线者(与云中心服务器之间的通信存在问题的掉线者)，将其从候选采样客户端集合中排除。其余的客户端按照其总耗时Total_T_i划分为n个性能层级，具体方法为：将剩余的各客户端按照总耗时Total_T_i进行排序，然后依照此排序将每

个客户端分为一组，视为同一性能层级。其中，N为排除离线者后所剩下的客户端的数量，n为划分的性能层级数目。

步骤2：云中心服务器初始化全局模型以及所需的全局变量，包括以下子步骤：

步骤2-1：云中心服务器初始化全局模型的神经网络结构，包括初始化全局模型神经网络的输入层的神经元个数、隐藏层的神经元个数以及输出层的神经元个数，并根据初始化后的神经网络结构，采用基于标准正态分布的随机初始化方法来初始化全局模型，得到初始化后的全局模型W₀；

步骤2-2：云中心服务器初始化全局变量，其主要包括云中心服务器与客户端之间通信的总轮数T(也即全局模型更新的总次数)，步骤1中分层为n个性能层级的客户端集合u₁,u₂,...,u_n及其对应的初始采样率ρ₁,ρ₂,...,ρ_n，各性能层级的客户端集合被云中心服务器选中进行本地模型训练的机会数p₁,p₂,...,p_n，和每次采样的最大客户端规模K。其中，u_n表示分类为第n个层级的客户端集合；p_n表示第n个层级的客户端集合被云中心服务器选中进行本地模型训练的机会数；ρ_n表示第n个层级的客户端集合所对应的采样率，可以通过机会数p_n以公式(1)计算得到。

步骤3：云中心服务器与客户端开始首轮通信，也就是通信轮数t＝0，在本轮通信中云中心服务器按照相应的初始采样率分别从每一性能层级的客户端集合中随机采样部分客户端，获得用于首轮本地模型训练的客户端集合，并通知被采样的客户端从云中心服务器上下载初始化后的全局模型。

步骤2中所述云中心服务器初始化之后的首次客户端采样，云中心服务器应对各个性能层级的客户端集合分别进行采样，来得到用于首轮本地模型训练的客户端集合S₁,S₂,...,S_n。其中，各个性能层级的被采样客户端规模为|S_i|＝ρ_i·K(i＝1,...,n)。

在本实施例中，云中心服务器根据每一性能层级所对应的采样率，分别从每一性能层级的客户端集合中随机采样部分客户端，并通知被采样的客户端从云中心服务器上下载初始化后的全局模型W₀。以性能层级i的客户端集合u_i为例，云中心服务器从该集合u_i中采样得到规模为|S_i|＝ρ_i·K的客户端集合S_i。其中，ρ_i为性能层级为i的客户端集合u_i的采样率，K为本次采样的最大客户端规模。

步骤4：被采样的客户端在收到云中心服务器的通知后，开始从云中心服务器下载当前第t轮更新后得到的最新全局模型W_t，并将其作为被采样的客户端进行下一轮本地模型训练的初始模型。

步骤5：从同一性能层级采样的各个客户端根据本地数据并行地使用随机梯度下降算法进行本地模型训练，来得到各自多轮迭代训练后的本地模型。

以从性能层级为i的客户端集合u_i中采样的第k个客户端为例，用随机梯度下降算法解决公式(2)中的正则化优化问题，来得到该客户端在多轮迭代训练后的本地模型W_t ^i,k：

上式中，F_i,k(W)表示性能层级为i的客户端集合中的第k个客户端的本地损失函数；μ是正则化参数；W_t是客户端从云中心服务器下载的在第t轮更新后得到的最新全局模型；W是所述的客户端的本地模型；

是全局模型近端项；h_i,k(W；W_t)是在客户端本地训练的损失函数的基础上添加了全局模型近端项的目标函数，通过求解使这一目标函数最小化的优化问题来获得本地模型，极大地改善了全局模型偏向某一客户端本地模型的问题，从而在加速算法收敛的同时也能大大提升精度。

步骤6：完成本地模型训练的各客户端上传本地模型给云中心服务器。

步骤7：对于完成本地模型训练的每一客户端所对应的性能层级的客户端集合，云中心服务器将其被选中进行本地模型训练的机会数数值减1，并根据当前的机会数数值和公式(1)更新对应的采样率。

这样频繁更新的客户端集合被选中进行本地模型训练的机会数数值就会不断减小，从而使该性能层级的客户端被分配更低的采样率，以防止其多次进行本地模型训练使全局模型偏向该性能层级客户端的本地模型。

步骤8：云中心服务器将已完成本地模型训练的属于同一性能层级的客户端上传的本地模型进行聚合，并更新全局模型。

由于属于不同性能层级的客户端，他们完成本地模型训练的时间不同；而属于同一性能层级的客户端，他们完成本地模型训练的时间也是相同的。云中心服务器先将这些已完成本地模型训练的属于同一性能层级的客户端上传的本地模型进行聚合，再来更新全局模型。假设性能层级为i的客户端集合先完成本地模型训练，则云中心服务器上的全局模型的更新过程包括如下子步骤：

步骤8-1：云中心服务器将已完成本地模型训练的属于性能层级i的各客户端上传的本地模型按照公式(3)进行聚合：

上式中，

表示对属于性能层级i的各客户端上传的本地模型进行聚合后的模型，S_i|＝ρ_i·K为该性能层级的客户端集合的规模。

步骤8-2：云中心服务器按照公式(4)所示的基于模型陈旧性与用户参与度感知相结合的方式来更新全局模型：

上式中，W_t+1是云中心服务器上在第t+1轮更新后得到的最新的全局模型；ρ_i是性能层级为i的客户端集合所对应的采样率，当该性能层级的客户端与云中心服务器之间的通信频繁时，此采样率会因(该性能层级的客户端集合被云中心服务器选中进行本地模型训练的)机会数的减少而被限制，使得下次从该性能层级客户端集合中采样的客户端规模下降--也即用户的参与度下降，从而降低该性能层级的客户端的本地模型对全局模型的影响；

是与客户端模型陈旧性(需要更长时间完成与云中心服务器通信的客户端，其本地模型会滞后于全局模型，而产生模型陈旧性)有关的系数，该系数用来衡量客户端上传的本地模型对于云中心服务器上最新的全局模型的滞后性。

由α和s_τ共同决定，其中，α为分布于(0～1)的自适应超参数，

表示当前第t轮客户端上传的本地模型对云中心服务器上最新的全局模型的滞后程度，τ为客户端上传本地模型到云中心服务器上所需要的时间间隔。

步骤9：针对已完成本地模型训练的客户端，云中心服务器从其所对应的性能层级的客户端集合中按照更新的采样率随机采样部分客户端，并通知此部分客户端从云中心服务器下载最新的全局模型。

在本实例中，对于已完成本地模型训练的客户端，云中心服务器根据其性能层级所对应的采样率，从其所在性能层级的客户端集合中随机采样部分客户端，获得用于新一轮本地模型训练的客户端集合，并通知被采样的客户端从云中心服务器上下载最新的全局模型。若已完成本地模型训练的客户端的性能层级为i，则云中心服务器根据其所在的客户端集合u_i所对应的采样率ρ_i，来从u_i中采样得到规模为|S_i|＝ρ_i·K的客户端集合S_i。

步骤10：判断是否当前云中心服务器与客户端的通信轮数t≥T，若否，则令t＝t+1，并转至步骤4，进行下一轮的全局模型更新，若是，则视为整个学习过程结束。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，该算法包括如下步骤：

步骤1：云中心服务器将参与任务的各客户端划分成不同的性能层级；

步骤2：云中心服务器初始化全局模型以及所需的全局变量；所述全局变量包括云中心服务器与客户端的通信总轮数T，n个性能层级的客户端集合u₁,u₂,...,u_n，各性能层级的客户端集合被云中心服务器选中进行本地模型训练的机会数p₁,p₂,...,p_n，以及根据所述机会数确定的各性能层级客户端集合的初始采样率ρ₁,ρ₂,...,ρ_n；

步骤3：云中心服务器与客户端开始首轮通信，也就是通信轮数t＝0，在本轮通信中云中心服务器按照相应的初始采样率分别从每一性能层级的客户端集合中随机采样部分客户端，获得用于首轮本地模型训练的客户端集合，并通知被采样的客户端从云中心服务器上下载初始化后的全局模型；

步骤4：被采样的客户端在收到云中心服务器的通知后，开始从云中心服务器下载当前最新的全局模型，并将其作为被采样的客户端进行下一轮本地模型训练的初始模型；

步骤5：从同一性能层级采样的各个客户端根据本地数据并行地使用随机梯度下降算法进行本地模型训练，来得到各自多轮迭代训练后的本地模型；

步骤6：完成本地模型训练的各客户端上传本地模型给云中心服务器；

步骤7：对于完成本地模型训练的每一客户端所对应的性能层级的客户端集合，云中心服务器将其被选中进行本地模型训练的机会数数值减1，并根据当前的机会数数值更新该客户端集合的采样率；

步骤8：云中心服务器将已完成本地模型训练的属于同一性能层级的客户端上传的本地模型进行聚合，并更新全局模型；

步骤9：针对已完成本地模型训练的客户端，云中心服务器从其所对应的性能层级的客户端集合中按照更新的采样率随机采样部分客户端，并通知此部分客户端从云中心服务器下载最新的全局模型；

步骤10：判断是否当前云中心服务器与客户端的通信轮数t≥T，若否，则令t＝t+1，并转至步骤4，进行下一轮的全局模型更新，若是，则视为任务结束。

2.根据权利要求1所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，根据各客户端完成同一任务所耗费的时间，云中心服务器将参与任务的所述各客户端划分成不同的性能层级。

3.根据权利要求2所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，所述步骤1进一步包括如下步骤：

步骤1-1：云中心服务器将同一个机器学习任务分发给参与任务的各客户端，并设置客户端本地模型训练轮数R、客户端每轮本地模型训练的最大耗时T_max以及客户端性能层级数量n；

步骤1-2：各所述客户端接收到云中心服务器发送的机器学习任务后，执行R轮本地模型训练，每一所述客户端在每轮本地模型训练完毕后，发送每轮本地模型训练的耗时T_i给云中心服务器；

步骤1-3：云中心服务器接收到每一所述客户端的每轮本地模型训练的耗时T_i时，将大于或者等于T_max的耗时均计时为T_max；

步骤1-4：R轮本地模型训练完成后，从所有参与任务的客户端中除去总耗时Total_T_i大于或者等于R*T_max的客户端，对剩余的客户端按照其各自执行R轮本地模型训练的总耗时Total_T_i划分为n个性能层级。

4.根据权利要求3所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，所述对剩余的客户端按照其各自执行R轮本地模型训练的总耗时Total_T_i划分为n个性能层级的方法为：按照总耗时Total_T_i对各客户端进行排序，然后依照此排序将每

个客户端分为一组，视为同一性能层级，其中，N为客户端总数量，n为预设的性能层级总数。

5.根据权利要求1所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，每一性能层级的客户端集合对应的采样率与该客户端集合被云中心服务器选中进行本地模型训练的机会数之间的关系如下：

其中，ρ_n表示第n个层级的客户端集合所对应的采样率；p_n表示第n个层级的客户端集合被云中心服务器选中进行本地模型训练的机会数。

6.根据权利要求1所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，采样的客户端利用用随机梯度下降算法解决下式的正则化优化问题，来得到该客户端在多轮迭代训练后的本地模型W_t ^i,k：

上式中，F_i,k(W)表示性能层级为i的客户端集合中的第k个客户端的本地损失函数；μ是正则化参数；W_t是客户端从云中心服务器下载的最新全局模型；W是客户端的本地模型；

是全局模型近端项；h_i,k(W；W_t)是在客户端本地训练的损失函数的基础上添加了全局模型近端项的目标函数。

7.根据权利要求1所述的基于模型陈旧性与用户参与度感知的联邦学习算法，其特征在于，所述步骤8进一步包括如下步骤：

步骤8-1：云中心服务器将已完成本地模型训练的属于同一性能层级的各客户端上传的本地模型按照下式进行聚合：

上式中，

表示对属于性能层级i的各客户端上传的本地模型进行聚合后的模型，|S_i|为该性能层级i的客户端集合的规模；

步骤8-2：云中心服务器按照下式的基于模型陈旧性与用户参与度感知相结合的方式来更新全局模型：

上式中，W_t+1是云中心服务器上在第t+1轮更新后得到的最新的全局模型；ρ_i是性能层级为i的客户端集合所对应的采样率；

是与客户端模型陈旧性有关的系数，该系数用来衡量客户端上传的本地模型对于云中心服务器上最新的全局模型的滞后性；

由α和s_τ共同决定，其中，α为分布于(0～1)的自适应超参数，

表示当前第t轮客户端上传的本地模型对云中心服务器上最新的全局模型的滞后程度，τ为客户端上传本地模型到云中心服务器上所需要的时间间隔。

Images