CN115587633A - 一种基于参数分层的个性化联邦学习方法 - Google Patents

Abstract

本发明属于联邦学***均权重上传给服务器，服务器更新基础层参数；联邦学习完成后得到最优的基础层参数下发给客户端，客户端采用本地数据对本地模型进行训练得到个性化的本地模型；本发明通过参数分层和联邦训练中的聚类划分可以缓解每个客户端的非独立同分布数据所带来的异质性问题，有助于每个客户端最终的模型更适应于它本地的数据。

Description

一种基于参数分层的个性化联邦学习方法

技术领域

本发明属于联邦学习技术应用领域，涉及全局模型和局部模型的调整，尤其涉及一种基于参数分层的个性化联邦学习方法。

背景技术

随着大数据的进一步发展，人们对数据隐私的认识和关注也在不断提高；因此，联邦学习自提出以来获得了广泛的关注，并在一些场景中得以应用。联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，旨在让分散的各参与者在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练。然而由于数据高度异质性的问题，我们很难通过联邦学习训练出一个适合于所有客户端的全局模型。

随着关于联邦学习研究的深入，人们提出使用个性化联邦学习方法来解决数据异构性问题。个性化联邦学习的核心思想是通过捕捉每个客户端的个性化信息，根据其异构数据分布来遵循不同方向研究，以此获得高质量的个性化模型。目前，研究者们将个性化联邦学习分为两类：全局模型个性化和学习个性化模型。全局模型个性化分为两个阶段，首先训练一个共享的全局FL模型，然后在本地的数据上进行额外的训练，达到个性化的目的。学习个性化模型目的是通过修改FL模型的聚合过程来建立个性化模型。

近年来，越来越多的学者对联邦学习领域中的个性化联邦学习进行了研究。研究的方面主要是基于多任务学习、基础层和个性化层分层处理和迁移学习。基于多任务学习主要是通过学习每个节点的独立模型，利用任意的凸损失函数为每个节点训练出独立的权重向量；并且考虑节点模型间的相关性来解决联邦环境中统计难题，提升样本容量。基于分层处理主要是考虑每个节点之间数据分布的差异性，同时神经网络层数越高，个性化越强的特性。基于迁移学习主要是利用数据、任务、或模型之间的相似性，将在源领域学习过的模型，应用于目标领域的一种学习过程。

虽然众多学者对个性化联邦学习领域进行了大量的研究，并取得了相当不错的成功，但仍然存在一些挑战：

1.客户端非独立同分布数据导致全局模型收敛慢。在联邦学习环境中，参与联邦学习的设备存在数据分布差异很大的问题，同时还存在通信成本问题，因此很难快速训练一个好的全局模型。

2.联邦计算高复杂度的问题。在进行参数相似度计算以此来达到划分的过程中，存在海量数据计算复杂度高的问题，这大大降低了计算效率。

3.局部分布差异性问题。由于客户端的数据分布差异，从原始数据中捕获的偏好不同，这使得训练好的全局模型不能很好地在各种数据中进行推广。因此如何为每个客户端在全局模型的基础上训练自己的个性化模型成为了一个主要研究方向。

针对客户端数据分布差异性问题，个性化联邦学习逐渐成为解决此问题的主流选择。Zhu等人(Zhu,Zhuangdi,Junyuan Hong,and Jiayu Zhou."Data-free knowledgedistillation for heterogeneous federated learning."International Conferenceon Machine Learning.PMLR,2021.)提出了一种无数据知识蒸馏方法来解决数据异构性问题，通过学习的知识作为归纳偏差来调节本地训练，达到更少的通信轮次来促进FL具有更好的泛化性能的目的。受该篇论文的启发，本发明提出了一种基于迭代式划分和参数分层的个性化联邦学习方法，模型基础层参数用来参与联邦训练，个性化层参数去适应本地数据分布，同时通过聚类划分解决权重发散问题，用更少的通信轮次实现全局模型的快速收敛。

发明内容

为解决上述问题，本发明提供了一种基于参数分层的个性化联邦学习方法，包括以下步骤：

S1.构建包括N个客户端和一个服务器的个性化联邦学习***，服务器中设有参数初始化后的主模型；

S2.客户端从服务器中下载主模型作为本地模型，所述主模型的参数被划分为基础层参数和个性化层参数；

S3.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数，获取基础层权重更新向量；

S4.对基础层权重更新向量降维后得到三元向量矩阵，通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵；

S5.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离，采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组，每个小组进行内部聚合得到对应的组平均权重；

S6.将所有组平均权重上传给服务器进行全局聚合，服务器得到更新后的基础层参数并下发给客户端；

S7.判断是否达到联邦学习迭代阈值，若是，则进入步骤S8，否则返回步骤S3；

S8.客户端固定本地模型的基础层参数，通过本地数据对本地模型进行随机梯度下降改进个性化参数，最终得到客户端的个性化模型。

进一步的，每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数，从而获取本身的基础层权重更新向量，且客户端间的基础层参数更新过程相互独立；其中基础层权重更新向量的计算公式表示为：

其中，

表示客户端i,i＝{1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重，

表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，W_B ^(t-1)表示第t-1个联邦学习轮次后服务器更新的基础层参数，

表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，C_i表示从客户端i的本地数据中采样的批量数据，SGD_i表示客户端i采用的随机梯度下降方法，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量。

进一步的，步骤S3中获取客户端i,i＝{1,2,,...,N}的三元余弦相似性矩阵的过程包括：

S31.采用奇异值分解算法对客户端i的基础层权重更新向量降维，得到客户端i的三元向量矩阵，表示为：

其中，V_i表示客户端i的三元向量矩阵，v_i1、v_i2和v_i3表示客户端i的三元向量矩阵中的基本方向向量，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量；

S32.基于三元向量矩阵定义客户端i的三元余弦相似性，表示为：

其中，

表示客户端i的三元余弦相似性，v_scale表示基础层权重更新向量与三元向量矩阵乘积的逆矩阵，

表示哈达玛矩阵的乘积运算符；

S33.对客户端i的三元余弦相似性进行归一化，得到客户端i的三元余弦相似性矩阵，表示为：

其中，M_i表示客户端i的三元余弦相似性矩阵。

进一步的，步骤S4获取每个小组的组平均权重的过程包括：

S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离，表示为：

其中，α_i,j表示客户端i和客户端j的相似性距离，M_i表示客户端i的三元余弦相似性矩阵，M_j表示客户端j的三元余弦相似性矩阵；

S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心，通过相似性距离进行聚类划分，并采用代价函数衡量聚类质量，最终得到K个小组；

S43.每个小组进行组内安全聚合得到对应的组平均权重，计算公式为：

其中，

表示在第t个联邦学***均权重，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量，c_i表示客户端i，

表示小组g_k的组成员集合；

表示客户端i是小组g_k的组成员，n_i表示客户端i上的样本数量，n表示一个小组内所有客户端的总样本数量。

进一步的，所述代价函数Cost表示为：

Cost＝E_m-E_m-1

其中，E_m表示第m次小组更新结果的评价分数，E_m-1表示第m-1次小组更新结果的评价分数，p表示聚类中心以外的客户端的三元余弦相似性矩阵，

表示第m次小组更新中的第k个小组，o_k表示第k个小组的聚类中心，K表示小组个数。

进一步的，在步骤S7中以最小化平均个性化群体损失为目的设置目标函数，表示为：

其中，W_B表示经过联邦训练后所获得的最终的基础层参数，

表示第一个客户端本地所拥有的个性化层参数，N表示参与联邦训练的所有客户端数量，

表示第i个客户端个性化损失函数的数学期望，，(x,y)表示客户端i的数据样本分布，

表示第i个客户端的个性化层权重，f表示输出函数，l表示所有客户端通用的个性化损失函数。

本发明的有益效果：

联邦学习中存在数据高度异质性的问题，使得很难通过联邦学习训练出一个适合于所有客户端的全局模型。同时，联邦学习在训练全局模型的时候也存在一个客户端权重发散的问题，这也是数据异质性所带来的问题。因为每个客户端的本地数据分布不同，使得模型优化方向不同，大大降低了全局模型的收敛速度和效果。针对上述问题，本发明对需要上传到联邦学习中的每个客户端的参数和训练过程进行了改进，提出了一种基于参数分层的个性化联邦学习方法。该方法通过将模型参数分层，将模型参数分为了基础层参数和个性化层参数，基础层参数用于参加联邦训练，个性化层参数保留在本地，保留了每个客户端独特的个性特征。这缓解了本地数据分布不同的问题，使得训练出的模型更加适应于本地客户端。同时在训练过程中根据参数更新的相似性来动态划分小组，加速了全局模型的收敛速度。

附图说明

图1为本发明的基于参数分层的个性化联邦学习框架示意图；

图2为本发明的基于参数分层的个性化联邦学习方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于参数分层的个性化联邦学习方法，该方法通过基础层参数更新方向相似性进行分组，以此来加快全局模型收敛速度，同时在本地利用个性化层参数来缓解局部分布差异问题，最后实现本地客户端的个性化模型定制。如图1所示，本发明主要包括3个部分：

S1.在进行联邦学习训练之前，服务器颁布参数初始化的主模型，且该主模型的参数被划分为基础层参数和个性化层参数，客户端下载服务器颁布的主模型作为本地模型；

S2.联邦学***均权重并上传给服务器进行全局聚合得到更新的基础层参数，客户端重新下载服务器得到的更新的基础层参数，并重复S2的操作，直到得到最优的基础层参数；

S3.不同客户端的数据分布不同使得经过联邦训练所得到的全局参数并不适应于每一个客户端。因此本发明开始时服务器端初始化基本层参数，客户端初始化自己的个性化层参数，基本层参数用于参与联邦训练获得更泛化的全局基础层参数，个性化层参数参与每次迭代的训练。最后每个客户端通过训练好的基本层参数和个性化层参数，利用本地数据进行SGD更新获得更适应于本地数据分布的个性化模型。

在一实施例中，一种基于参数分层的个性化联邦学习方法的具体过程，如图2所示，包括以下步骤：

S10.构建包括N个客户端和一个服务器的个性化联邦学习***，服务器中设有参数初始化后的主模型；

S20.客户端从服务器中下载主模型作为本地模型，所述主模型的参数被划分为基础层参数和个性化层参数；

S30.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数，获取基础层权重更新向量；

S40.对基础层权重更新向量降维后得到三元向量矩阵，通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵；

S50.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离，采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组，每个小组进行内部聚合得到对应的组平均权重；

S60.将所有组平均权重上传给服务器进行全局聚合，服务器得到更新后的基础层参数并下发给客户端；

S70.判断是否达到联邦学习迭代阈值，若是，则进入步骤S80，否则返回步骤S30；

S80.客户端固定本地模型的基础层参数，通过本地数据对本地模型进行随机梯度下降改进个性化参数，最终得到客户端的个性化模型。

优选地，在联邦学习的多次循环迭代中，每一个轮次，每个客户端都需要先下载服务器更新的基础层参数，然后采用本地数据对本地模型的基础层参数(也就是指客户端从服务器下载的最新的基础层参数)和个性化层参数执行多次的随机梯度下降来改进本地模型的参数，得到本地模型的更新基础层参数和更新个性化层参数，从而获取本地模型基础层参数的更新方向，其中基础层权重更新向量(也就是本地模型基础层参数的更新方向)的计算公式表示为：

其中，

表示客户端i,i＝{1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重，

表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，W_B ^(t-1)表示第t-1个联邦学习轮次后服务器更新的基础层参数，

表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，C_i表示从客户端i的本地数据中采样的批量数据，SGD_i表示客户端i采用的随机梯度下降方法，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量。

具体地，每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数，从而获取本身的基础层权重更新向量，且客户端间的基础层参数更新过程相互独立。

优选地，客户端获取本地模型基础层参数的更新方向后需要进行基础层参数降维，进而获取客户端的三元余弦相似性矩阵作为聚类的基础，其具体过程包括：

S31.为降低计算复杂度，同时方便后续的三元余弦相似性矩阵的表示，采用奇异值分解算法对客户端i的基础层权重更新向量降维，得到客户端i的三元向量矩阵，表示为：

其中，V_i表示客户端i的三元向量矩阵，v_i1、v_i2和v_i3表示客户端i的三元向量矩阵中的基本方向向量，用于表示客户端基础层参数的优化方向，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量；

S32.为了降低计算成本，本文提出了一种度量方法，称为三元余弦相似度，其用于度量更新的基础层参数的优化方向；即基于三元向量矩阵定义客户端i的三元余弦相似性，表示为：

其中，

表示客户端i的三元余弦相似性，v_scale表示基础层权重更新向量与三元向量矩阵乘积的逆矩阵，

表示哈达玛矩阵的乘积运算符；

S33.对客户端i的三元余弦相似性归一化到区间[0,1]，得到客户端i的三元余弦相似性矩阵，表示为：

其中，M_i表示客户端i的三元余弦相似性矩阵。

优选地，在三元余弦相似性矩阵的基础上，本实施例考虑到聚类在解决权重发散问题上的优势，构建了一种基于客户端基础层参数更新相似性的模块。首先通过余弦公式计算相似性距离，随后通过K-Medoids算法来对参与联邦训练的客户端进行聚类划分，基于参数更新方向将客户端划分为多个小组，最后每一个小组内进行安全聚合得到小组的组平均权重，在服务器将每个小组平均权重进行全局聚合得到下一轮次的基础层权重，分发给每个客户端进行下一轮次的联邦训练。

具体地，获取每个小组的组平均权重上传给服务器，服务器更新基础层参数的过程包括：

S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离，将相似性距离作为聚类划分的聚类距离依据，这有利于将更新方向相同的客户端划分到一个小组，加快小组内平均权重的快速收敛，相似性距离计算公式表示为：

其中，α_i,j表示客户端i和客户端j间的相似性距离，M_i表示客户端i的三元余弦相似性矩阵，M_j表示客户端j的三元余弦相似性矩阵；

S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心，通过相似性距离进行聚类划分，并采用代价函数衡量聚类质量，最终得到K个小组；

具体地，通过相似性距离进行聚类划分，即通过其余客户端与聚类中心对应的客户端之间的相似性距离的大小进行划分，将不是聚类中心对应的客户端分配到相似性距离最小的小组中，然后开始更新过程：每次更新，每一个小组随机选择一个小组成员作为聚类中心，替换掉原始的聚类中心，重新开始聚类分组，判断更新后的聚类效果是否提升，若是，则保留此次替换，否则恢复为上一次结果。当替换对聚类效果不再有所提高，更新停止。

具体地，采用代价函数来衡量聚类结果的质量，代价函数Cost表示为：

Cost＝E_m-E_m-1

其中，E_m表示第m次小组更新结果的评价分数，E_m-1表示第m-1次小组更新结果的评价分数，p表示聚类中心以外的客户端的三元余弦相似性矩阵，

表示第m次小组更新中的第k个小组，o_k表示第k个小组的聚类中心，K表示小组个数。当代价函数不再发生变化时，表示所有的中心点不再发生变化或已达到设定的最大迭代次数，根据聚类划分算法得到最优的小组划分G＝{g₁,g₂,...,g_K}，

S43.每个小组进行组内安全聚合得到对应的组平均权重，计算公式为：

其中，

表示在第t个联邦学***均权重，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量，c_i表示客户端i，

表示小组g_k的组成员集合；

表示客户端i是小组g_k的组成员，n_i表示客户端i上的样本数量，n表示一个小组内所有客户端的总样本数量。

最终得到各小组的组平均权重，表示为：

S44.将每个小组的组平均权重上传给中心服务器进行全局聚合，得到最新的基础层参数，并重新分发给每一个客户端进行下一轮次的联邦训练。

在一实施例中，本文针对数据差异性问题，设计了客户端参数分层的方法，将基础层上传到中心服务器进行全局聚合，在本地数据上训练个性化层，对于每个客户端的本地模型，首先定义其分层数量为：

其中，K_B表示基础层参数数量，K_P表示个性化层参数数量。

其次定义本地模型数据的正向传递方式，表示为：

其中，

表示客户端的基础层权重矩阵(也就是基础层参数)，

表示基础层参数中的第1层参数，基础层参数中不同层的参数可能具有不同的维度，不同客户端的基础层权重矩阵是相同的，

表示客户端i的个性化层权重矩阵(也就是个性化层参数)，a表示激活函数，根据下标具体表示为某一层；客户端的数据首先经过基本层，然后再经过个性化层，最后得到输出，正向传递可以简单描述为：

具体地，在联邦学***均个性化群体损失为目的设置目标函数，表示为：

其中，W_B表示经过联邦训练后所获得的最终的基础层参数，

表示第一个客户端本地所拥有的个性化层参数，N表示参与联邦训练的所有客户端数量，

表示第i个客户端个性化损失函数的数学期望，(x,y)表示客户端i的数据样本分布，

表示第i个客户端的个性化层权重，f表示客户端i的样本x首先经过基本层，然后经过个性化层的一个输出函数，l表示所有客户端通用的个性化损失函数。

由于真实数据生成分布P_i在训练期间未知，我们将使用第i个设备的个性化损失函数作为模拟全局损失函数(最小化平均个性化群体损失)的代表，第i个设备(客户端)上的损失定义为：

其中，W_B表示经过联邦训练后所获得的最终的基础层参数，W_P表示第i个设备所独有的个性化层参数，n_i表示第i个设备的样本量，(x_i,j,y_i,j)表示第i个设备的数据分布中的第j个样本量。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于参数分层的个性化联邦学习方法，其特征在于，包括以下步骤：

S1.构建包括N个客户端和一个服务器的个性化联邦学习***，服务器中设有参数初始化后的主模型；

S2.客户端从服务器中下载主模型作为本地模型，所述主模型的参数被划分为基础层参数和个性化层参数；

S3.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数，获取基础层权重更新向量；

S4.对基础层权重更新向量降维后得到三元向量矩阵，通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵；

S5.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离，采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组，每个小组进行内部聚合得到对应的组平均权重；

S6.将所有组平均权重上传给服务器进行全局聚合，服务器得到更新后的基础层参数并下发给客户端；

S7.判断是否达到联邦学习迭代阈值，若是，则进入步骤S8，否则返回步骤S3；

S8.客户端固定本地模型的基础层参数，通过本地数据对本地模型进行随机梯度下降改进个性化参数，最终得到客户端的个性化模型。

2.根据权利要求1所述的一种基于参数分层的个性化联邦学习方法，其特征在于，每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数，从而获取本身的基础层权重更新向量，且客户端间的基础层参数更新过程相互独立；其中基础层权重更新向量的计算公式表示为：

其中，

表示客户端i,i＝{1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重，

表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，W_B ^(t-1)表示第t-1个联邦学习轮次后服务器更新的基础层参数，

表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，C_i表示从客户端i的本地数据中采样的批量数据，SGD_i表示客户端i采用的随机梯度下降方法，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量。

3.根据权利要求1所述的一种基于参数分层的个性化联邦学习方法，其特征在于，步骤S3中获取客户端i,i＝{1,2,,...,N}的三元余弦相似性矩阵的过程包括：

S31.采用奇异值分解算法对客户端i的基础层权重更新向量降维，得到客户端i的三元向量矩阵，表示为：

其中，V_i表示客户端i的三元向量矩阵，v_i1、v_i2和v_i3表示客户端i的三元向量矩阵中的基本方向向量，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量；

S32.基于三元向量矩阵定义客户端i的三元余弦相似性，表示为：

其中，

表示客户端i的三元余弦相似性，v_scale表示基础层权重更新向量与三元向量矩阵乘积的逆矩阵，

表示哈达玛矩阵的乘积运算符；

S33.对客户端i的三元余弦相似性进行归一化，得到客户端i的三元余弦相似性矩阵，表示为：

其中，M_i表示客户端i的三元余弦相似性矩阵。

4.根据权利要求1所述的一种基于参数分层的个性化联邦学***均权重的过程包括：

S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离，表示为：

其中，α_i,j表示客户端i和客户端j的相似性距离，M_i表示客户端i的三元余弦相似性矩阵，M_j表示客户端j的三元余弦相似性矩阵；

S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心，通过相似性距离进行聚类划分，并采用代价函数衡量聚类质量，最终得到K个小组；

S43.每个小组进行组内安全聚合得到对应的组平均权重，计算公式为：

其中，

表示在第t个联邦学***均权重，

表示客户端i在第t个联邦学习轮次中的基础层权重更新向量，c_i表示客户端i，

表示小组g_k的组成员集合；

表示客户端i是小组g_k的组成员，n_i表示客户端i上的样本数量，n表示一个小组内所有客户端的总样本数量。

5.根据权利要求4所述的一种基于参数分层的个性化联邦学习方法，其特征在于，所述代价函数Cost表示为：

Cost＝E_m-E_m-1

其中，E_m表示第m次小组更新结果的评价分数，E_m-1表示第m-1次小组更新结果的评价分数，p表示聚类中心以外的客户端的三元余弦相似性矩阵，

表示第m次小组更新中的第k个小组，o_k表示第k个小组的聚类中心，K表示小组个数。

6.根据权利要求1所述的一种基于参数分层的个性化联邦学***均个性化群体损失为目的设置目标函数，表示为：

其中，W_B表示经过联邦训练后所获得的最终的基础层参数，

表示第一个客户端本地所拥有的个性化层参数，N表示参与联邦训练的所有客户端数量，

表示第i个客户端个性化损失函数的数学期望，(x,y)表示客户端i的数据样本分布，

表示第i个客户端的个性化层权重，f表示输出函数，l表示所有客户端通用的个性化损失函数。

Images