CN115587633A - 一种基于参数分层的个性化联邦学习方法 - Google Patents
一种基于参数分层的个性化联邦学习方法 Download PDFInfo
- Publication number
- CN115587633A CN115587633A CN202211382618.XA CN202211382618A CN115587633A CN 115587633 A CN115587633 A CN 115587633A CN 202211382618 A CN202211382618 A CN 202211382618A CN 115587633 A CN115587633 A CN 115587633A
- Authority
- CN
- China
- Prior art keywords
- client
- ternary
- representing
- base layer
- personalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013517 stratification Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明属于联邦学***均权重上传给服务器,服务器更新基础层参数;联邦学习完成后得到最优的基础层参数下发给客户端,客户端采用本地数据对本地模型进行训练得到个性化的本地模型;本发明通过参数分层和联邦训练中的聚类划分可以缓解每个客户端的非独立同分布数据所带来的异质性问题,有助于每个客户端最终的模型更适应于它本地的数据。
Description
技术领域
本发明属于联邦学习技术应用领域,涉及全局模型和局部模型的调整,尤其涉及一种基于参数分层的个性化联邦学习方法。
背景技术
随着大数据的进一步发展,人们对数据隐私的认识和关注也在不断提高;因此,联邦学习自提出以来获得了广泛的关注,并在一些场景中得以应用。联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架,旨在让分散的各参与者在满足不向其他参与者披露隐私数据的前提下,协作进行机器学习的模型训练。然而由于数据高度异质性的问题,我们很难通过联邦学习训练出一个适合于所有客户端的全局模型。
随着关于联邦学习研究的深入,人们提出使用个性化联邦学习方法来解决数据异构性问题。个性化联邦学习的核心思想是通过捕捉每个客户端的个性化信息,根据其异构数据分布来遵循不同方向研究,以此获得高质量的个性化模型。目前,研究者们将个性化联邦学习分为两类:全局模型个性化和学习个性化模型。全局模型个性化分为两个阶段,首先训练一个共享的全局FL模型,然后在本地的数据上进行额外的训练,达到个性化的目的。学习个性化模型目的是通过修改FL模型的聚合过程来建立个性化模型。
近年来,越来越多的学者对联邦学习领域中的个性化联邦学习进行了研究。研究的方面主要是基于多任务学习、基础层和个性化层分层处理和迁移学习。基于多任务学习主要是通过学习每个节点的独立模型,利用任意的凸损失函数为每个节点训练出独立的权重向量;并且考虑节点模型间的相关性来解决联邦环境中统计难题,提升样本容量。基于分层处理主要是考虑每个节点之间数据分布的差异性,同时神经网络层数越高,个性化越强的特性。基于迁移学习主要是利用数据、任务、或模型之间的相似性,将在源领域学习过的模型,应用于目标领域的一种学习过程。
虽然众多学者对个性化联邦学习领域进行了大量的研究,并取得了相当不错的成功,但仍然存在一些挑战:
1.客户端非独立同分布数据导致全局模型收敛慢。在联邦学习环境中,参与联邦学习的设备存在数据分布差异很大的问题,同时还存在通信成本问题,因此很难快速训练一个好的全局模型。
2.联邦计算高复杂度的问题。在进行参数相似度计算以此来达到划分的过程中,存在海量数据计算复杂度高的问题,这大大降低了计算效率。
3.局部分布差异性问题。由于客户端的数据分布差异,从原始数据中捕获的偏好不同,这使得训练好的全局模型不能很好地在各种数据中进行推广。因此如何为每个客户端在全局模型的基础上训练自己的个性化模型成为了一个主要研究方向。
针对客户端数据分布差异性问题,个性化联邦学习逐渐成为解决此问题的主流选择。Zhu等人(Zhu,Zhuangdi,Junyuan Hong,and Jiayu Zhou."Data-free knowledgedistillation for heterogeneous federated learning."International Conferenceon Machine Learning.PMLR,2021.)提出了一种无数据知识蒸馏方法来解决数据异构性问题,通过学习的知识作为归纳偏差来调节本地训练,达到更少的通信轮次来促进FL具有更好的泛化性能的目的。受该篇论文的启发,本发明提出了一种基于迭代式划分和参数分层的个性化联邦学习方法,模型基础层参数用来参与联邦训练,个性化层参数去适应本地数据分布,同时通过聚类划分解决权重发散问题,用更少的通信轮次实现全局模型的快速收敛。
发明内容
为解决上述问题,本发明提供了一种基于参数分层的个性化联邦学习方法,包括以下步骤:
S1.构建包括N个客户端和一个服务器的个性化联邦学习***,服务器中设有参数初始化后的主模型;
S2.客户端从服务器中下载主模型作为本地模型,所述主模型的参数被划分为基础层参数和个性化层参数;
S3.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数,获取基础层权重更新向量;
S4.对基础层权重更新向量降维后得到三元向量矩阵,通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵;
S5.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离,采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组,每个小组进行内部聚合得到对应的组平均权重;
S6.将所有组平均权重上传给服务器进行全局聚合,服务器得到更新后的基础层参数并下发给客户端;
S7.判断是否达到联邦学习迭代阈值,若是,则进入步骤S8,否则返回步骤S3;
S8.客户端固定本地模型的基础层参数,通过本地数据对本地模型进行随机梯度下降改进个性化参数,最终得到客户端的个性化模型。
进一步的,每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数,从而获取本身的基础层权重更新向量,且客户端间的基础层参数更新过程相互独立;其中基础层权重更新向量的计算公式表示为:
其中,表示客户端i,i={1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重,表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重,WB (t-1)表示第t-1个联邦学习轮次后服务器更新的基础层参数,表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重,Ci表示从客户端i的本地数据中采样的批量数据,SGDi表示客户端i采用的随机梯度下降方法,表示客户端i在第t个联邦学习轮次中的基础层权重更新向量。
进一步的,步骤S3中获取客户端i,i={1,2,,...,N}的三元余弦相似性矩阵的过程包括:
S31.采用奇异值分解算法对客户端i的基础层权重更新向量降维,得到客户端i的三元向量矩阵,表示为:
S32.基于三元向量矩阵定义客户端i的三元余弦相似性,表示为:
S33.对客户端i的三元余弦相似性进行归一化,得到客户端i的三元余弦相似性矩阵,表示为:
其中,Mi表示客户端i的三元余弦相似性矩阵。
进一步的,步骤S4获取每个小组的组平均权重的过程包括:
S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离,表示为:
其中,αi,j表示客户端i和客户端j的相似性距离,Mi表示客户端i的三元余弦相似性矩阵,Mj表示客户端j的三元余弦相似性矩阵;
S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心,通过相似性距离进行聚类划分,并采用代价函数衡量聚类质量,最终得到K个小组;
S43.每个小组进行组内安全聚合得到对应的组平均权重,计算公式为:
其中,表示在第t个联邦学***均权重,表示客户端i在第t个联邦学习轮次中的基础层权重更新向量,ci表示客户端i,表示小组gk的组成员集合;表示客户端i是小组gk的组成员,ni表示客户端i上的样本数量,n表示一个小组内所有客户端的总样本数量。
进一步的,所述代价函数Cost表示为:
Cost=Em-Em-1
其中,Em表示第m次小组更新结果的评价分数,Em-1表示第m-1次小组更新结果的评价分数,p表示聚类中心以外的客户端的三元余弦相似性矩阵,表示第m次小组更新中的第k个小组,ok表示第k个小组的聚类中心,K表示小组个数。
进一步的,在步骤S7中以最小化平均个性化群体损失为目的设置目标函数,表示为:
其中,WB表示经过联邦训练后所获得的最终的基础层参数,表示第一个客户端本地所拥有的个性化层参数,N表示参与联邦训练的所有客户端数量,表示第i个客户端个性化损失函数的数学期望,,(x,y)表示客户端i的数据样本分布,表示第i个客户端的个性化层权重,f表示输出函数,l表示所有客户端通用的个性化损失函数。
本发明的有益效果:
联邦学习中存在数据高度异质性的问题,使得很难通过联邦学习训练出一个适合于所有客户端的全局模型。同时,联邦学习在训练全局模型的时候也存在一个客户端权重发散的问题,这也是数据异质性所带来的问题。因为每个客户端的本地数据分布不同,使得模型优化方向不同,大大降低了全局模型的收敛速度和效果。针对上述问题,本发明对需要上传到联邦学习中的每个客户端的参数和训练过程进行了改进,提出了一种基于参数分层的个性化联邦学习方法。该方法通过将模型参数分层,将模型参数分为了基础层参数和个性化层参数,基础层参数用于参加联邦训练,个性化层参数保留在本地,保留了每个客户端独特的个性特征。这缓解了本地数据分布不同的问题,使得训练出的模型更加适应于本地客户端。同时在训练过程中根据参数更新的相似性来动态划分小组,加速了全局模型的收敛速度。
附图说明
图1为本发明的基于参数分层的个性化联邦学习框架示意图;
图2为本发明的基于参数分层的个性化联邦学习方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种基于参数分层的个性化联邦学习方法,该方法通过基础层参数更新方向相似性进行分组,以此来加快全局模型收敛速度,同时在本地利用个性化层参数来缓解局部分布差异问题,最后实现本地客户端的个性化模型定制。如图1所示,本发明主要包括3个部分:
S1.在进行联邦学习训练之前,服务器颁布参数初始化的主模型,且该主模型的参数被划分为基础层参数和个性化层参数,客户端下载服务器颁布的主模型作为本地模型;
S2.联邦学***均权重并上传给服务器进行全局聚合得到更新的基础层参数,客户端重新下载服务器得到的更新的基础层参数,并重复S2的操作,直到得到最优的基础层参数;
S3.不同客户端的数据分布不同使得经过联邦训练所得到的全局参数并不适应于每一个客户端。因此本发明开始时服务器端初始化基本层参数,客户端初始化自己的个性化层参数,基本层参数用于参与联邦训练获得更泛化的全局基础层参数,个性化层参数参与每次迭代的训练。最后每个客户端通过训练好的基本层参数和个性化层参数,利用本地数据进行SGD更新获得更适应于本地数据分布的个性化模型。
在一实施例中,一种基于参数分层的个性化联邦学习方法的具体过程,如图2所示,包括以下步骤:
S10.构建包括N个客户端和一个服务器的个性化联邦学习***,服务器中设有参数初始化后的主模型;
S20.客户端从服务器中下载主模型作为本地模型,所述主模型的参数被划分为基础层参数和个性化层参数;
S30.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数,获取基础层权重更新向量;
S40.对基础层权重更新向量降维后得到三元向量矩阵,通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵;
S50.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离,采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组,每个小组进行内部聚合得到对应的组平均权重;
S60.将所有组平均权重上传给服务器进行全局聚合,服务器得到更新后的基础层参数并下发给客户端;
S70.判断是否达到联邦学习迭代阈值,若是,则进入步骤S80,否则返回步骤S30;
S80.客户端固定本地模型的基础层参数,通过本地数据对本地模型进行随机梯度下降改进个性化参数,最终得到客户端的个性化模型。
优选地,在联邦学习的多次循环迭代中,每一个轮次,每个客户端都需要先下载服务器更新的基础层参数,然后采用本地数据对本地模型的基础层参数(也就是指客户端从服务器下载的最新的基础层参数)和个性化层参数执行多次的随机梯度下降来改进本地模型的参数,得到本地模型的更新基础层参数和更新个性化层参数,从而获取本地模型基础层参数的更新方向,其中基础层权重更新向量(也就是本地模型基础层参数的更新方向)的计算公式表示为:
其中,表示客户端i,i={1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重,表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重,WB (t-1)表示第t-1个联邦学习轮次后服务器更新的基础层参数,表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重,Ci表示从客户端i的本地数据中采样的批量数据,SGDi表示客户端i采用的随机梯度下降方法,表示客户端i在第t个联邦学习轮次中的基础层权重更新向量。
具体地,每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数,从而获取本身的基础层权重更新向量,且客户端间的基础层参数更新过程相互独立。
优选地,客户端获取本地模型基础层参数的更新方向后需要进行基础层参数降维,进而获取客户端的三元余弦相似性矩阵作为聚类的基础,其具体过程包括:
S31.为降低计算复杂度,同时方便后续的三元余弦相似性矩阵的表示,采用奇异值分解算法对客户端i的基础层权重更新向量降维,得到客户端i的三元向量矩阵,表示为:
S32.为了降低计算成本,本文提出了一种度量方法,称为三元余弦相似度,其用于度量更新的基础层参数的优化方向;即基于三元向量矩阵定义客户端i的三元余弦相似性,表示为:
S33.对客户端i的三元余弦相似性归一化到区间[0,1],得到客户端i的三元余弦相似性矩阵,表示为:
其中,Mi表示客户端i的三元余弦相似性矩阵。
优选地,在三元余弦相似性矩阵的基础上,本实施例考虑到聚类在解决权重发散问题上的优势,构建了一种基于客户端基础层参数更新相似性的模块。首先通过余弦公式计算相似性距离,随后通过K-Medoids算法来对参与联邦训练的客户端进行聚类划分,基于参数更新方向将客户端划分为多个小组,最后每一个小组内进行安全聚合得到小组的组平均权重,在服务器将每个小组平均权重进行全局聚合得到下一轮次的基础层权重,分发给每个客户端进行下一轮次的联邦训练。
具体地,获取每个小组的组平均权重上传给服务器,服务器更新基础层参数的过程包括:
S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离,将相似性距离作为聚类划分的聚类距离依据,这有利于将更新方向相同的客户端划分到一个小组,加快小组内平均权重的快速收敛,相似性距离计算公式表示为:
其中,αi,j表示客户端i和客户端j间的相似性距离,Mi表示客户端i的三元余弦相似性矩阵,Mj表示客户端j的三元余弦相似性矩阵;
S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心,通过相似性距离进行聚类划分,并采用代价函数衡量聚类质量,最终得到K个小组;
具体地,通过相似性距离进行聚类划分,即通过其余客户端与聚类中心对应的客户端之间的相似性距离的大小进行划分,将不是聚类中心对应的客户端分配到相似性距离最小的小组中,然后开始更新过程:每次更新,每一个小组随机选择一个小组成员作为聚类中心,替换掉原始的聚类中心,重新开始聚类分组,判断更新后的聚类效果是否提升,若是,则保留此次替换,否则恢复为上一次结果。当替换对聚类效果不再有所提高,更新停止。
具体地,采用代价函数来衡量聚类结果的质量,代价函数Cost表示为:
Cost=Em-Em-1
其中,Em表示第m次小组更新结果的评价分数,Em-1表示第m-1次小组更新结果的评价分数,p表示聚类中心以外的客户端的三元余弦相似性矩阵,表示第m次小组更新中的第k个小组,ok表示第k个小组的聚类中心,K表示小组个数。当代价函数不再发生变化时,表示所有的中心点不再发生变化或已达到设定的最大迭代次数,根据聚类划分算法得到最优的小组划分G={g1,g2,...,gK},
S43.每个小组进行组内安全聚合得到对应的组平均权重,计算公式为:
其中,表示在第t个联邦学***均权重,表示客户端i在第t个联邦学习轮次中的基础层权重更新向量,ci表示客户端i,表示小组gk的组成员集合;表示客户端i是小组gk的组成员,ni表示客户端i上的样本数量,n表示一个小组内所有客户端的总样本数量。
最终得到各小组的组平均权重,表示为:
S44.将每个小组的组平均权重上传给中心服务器进行全局聚合,得到最新的基础层参数,并重新分发给每一个客户端进行下一轮次的联邦训练。
在一实施例中,本文针对数据差异性问题,设计了客户端参数分层的方法,将基础层上传到中心服务器进行全局聚合,在本地数据上训练个性化层,对于每个客户端的本地模型,首先定义其分层数量为:
其中,KB表示基础层参数数量,KP表示个性化层参数数量。
其次定义本地模型数据的正向传递方式,表示为:
其中,表示客户端的基础层权重矩阵(也就是基础层参数),表示基础层参数中的第1层参数,基础层参数中不同层的参数可能具有不同的维度,不同客户端的基础层权重矩阵是相同的,表示客户端i的个性化层权重矩阵(也就是个性化层参数),a表示激活函数,根据下标具体表示为某一层;客户端的数据首先经过基本层,然后再经过个性化层,最后得到输出,正向传递可以简单描述为:
具体地,在联邦学***均个性化群体损失为目的设置目标函数,表示为:
其中,WB表示经过联邦训练后所获得的最终的基础层参数,表示第一个客户端本地所拥有的个性化层参数,N表示参与联邦训练的所有客户端数量,表示第i个客户端个性化损失函数的数学期望,(x,y)表示客户端i的数据样本分布,表示第i个客户端的个性化层权重,f表示客户端i的样本x首先经过基本层,然后经过个性化层的一个输出函数,l表示所有客户端通用的个性化损失函数。
由于真实数据生成分布Pi在训练期间未知,我们将使用第i个设备的个性化损失函数作为模拟全局损失函数(最小化平均个性化群体损失)的代表,第i个设备(客户端)上的损失定义为:
其中,WB表示经过联邦训练后所获得的最终的基础层参数,WP表示第i个设备所独有的个性化层参数,ni表示第i个设备的样本量,(xi,j,yi,j)表示第i个设备的数据分布中的第j个样本量。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于参数分层的个性化联邦学习方法,其特征在于,包括以下步骤:
S1.构建包括N个客户端和一个服务器的个性化联邦学习***,服务器中设有参数初始化后的主模型;
S2.客户端从服务器中下载主模型作为本地模型,所述主模型的参数被划分为基础层参数和个性化层参数;
S3.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数,获取基础层权重更新向量;
S4.对基础层权重更新向量降维后得到三元向量矩阵,通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵;
S5.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离,采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组,每个小组进行内部聚合得到对应的组平均权重;
S6.将所有组平均权重上传给服务器进行全局聚合,服务器得到更新后的基础层参数并下发给客户端;
S7.判断是否达到联邦学习迭代阈值,若是,则进入步骤S8,否则返回步骤S3;
S8.客户端固定本地模型的基础层参数,通过本地数据对本地模型进行随机梯度下降改进个性化参数,最终得到客户端的个性化模型。
2.根据权利要求1所述的一种基于参数分层的个性化联邦学习方法,其特征在于,每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数,从而获取本身的基础层权重更新向量,且客户端间的基础层参数更新过程相互独立;其中基础层权重更新向量的计算公式表示为:
3.根据权利要求1所述的一种基于参数分层的个性化联邦学习方法,其特征在于,步骤S3中获取客户端i,i={1,2,,...,N}的三元余弦相似性矩阵的过程包括:
S31.采用奇异值分解算法对客户端i的基础层权重更新向量降维,得到客户端i的三元向量矩阵,表示为:
S32.基于三元向量矩阵定义客户端i的三元余弦相似性,表示为:
S33.对客户端i的三元余弦相似性进行归一化,得到客户端i的三元余弦相似性矩阵,表示为:
其中,Mi表示客户端i的三元余弦相似性矩阵。
4.根据权利要求1所述的一种基于参数分层的个性化联邦学***均权重的过程包括:
S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离,表示为:
其中,αi,j表示客户端i和客户端j的相似性距离,Mi表示客户端i的三元余弦相似性矩阵,Mj表示客户端j的三元余弦相似性矩阵;
S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心,通过相似性距离进行聚类划分,并采用代价函数衡量聚类质量,最终得到K个小组;
S43.每个小组进行组内安全聚合得到对应的组平均权重,计算公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211382618.XA CN115587633A (zh) | 2022-11-07 | 2022-11-07 | 一种基于参数分层的个性化联邦学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211382618.XA CN115587633A (zh) | 2022-11-07 | 2022-11-07 | 一种基于参数分层的个性化联邦学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115587633A true CN115587633A (zh) | 2023-01-10 |
Family
ID=84781547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211382618.XA Pending CN115587633A (zh) | 2022-11-07 | 2022-11-07 | 一种基于参数分层的个性化联邦学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115587633A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
CN116226540A (zh) * | 2023-05-09 | 2023-06-06 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和*** |
CN117313901A (zh) * | 2023-11-28 | 2023-12-29 | 北京邮电大学 | 一种基于多任务聚类联邦个性学习的模型训练方法及装置 |
CN117892805A (zh) * | 2024-03-18 | 2024-04-16 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
CN118153666A (zh) * | 2024-05-11 | 2024-06-07 | 山东第二医科大学 | 一种个性化联邦知识蒸馏模型构建方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112416986A (zh) * | 2020-11-23 | 2021-02-26 | 中国科学技术大学 | 基于分层个性化联邦学习的用户画像实现方法及*** |
WO2021115480A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技(深圳)有限公司 | 联邦学习方法、装置、设备和存储介质 |
CN114925238A (zh) * | 2022-07-20 | 2022-08-19 | 山东大学 | 一种基于联邦学习的视频片段检索方法及*** |
US20220414464A1 (en) * | 2019-12-10 | 2022-12-29 | Agency For Science, Technology And Research | Method and server for federated machine learning |
-
2022
- 2022-11-07 CN CN202211382618.XA patent/CN115587633A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220414464A1 (en) * | 2019-12-10 | 2022-12-29 | Agency For Science, Technology And Research | Method and server for federated machine learning |
WO2021115480A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技(深圳)有限公司 | 联邦学习方法、装置、设备和存储介质 |
CN112416986A (zh) * | 2020-11-23 | 2021-02-26 | 中国科学技术大学 | 基于分层个性化联邦学习的用户画像实现方法及*** |
CN114925238A (zh) * | 2022-07-20 | 2022-08-19 | 山东大学 | 一种基于联邦学习的视频片段检索方法及*** |
Non-Patent Citations (1)
Title |
---|
吴琪;卢健圳;伍沛然;王帅;陈立;夏明华;: "边缘学习:关键技术、应用与挑战", 无线电通信技术, no. 01 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
CN115994226B (zh) * | 2023-03-21 | 2023-10-20 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
CN116226540A (zh) * | 2023-05-09 | 2023-06-06 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和*** |
CN116226540B (zh) * | 2023-05-09 | 2023-09-26 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和*** |
CN117313901A (zh) * | 2023-11-28 | 2023-12-29 | 北京邮电大学 | 一种基于多任务聚类联邦个性学习的模型训练方法及装置 |
CN117313901B (zh) * | 2023-11-28 | 2024-04-02 | 北京邮电大学 | 一种基于多任务聚类联邦个性学习的模型训练方法及装置 |
CN117892805A (zh) * | 2024-03-18 | 2024-04-16 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
CN117892805B (zh) * | 2024-03-18 | 2024-05-28 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
CN118153666A (zh) * | 2024-05-11 | 2024-06-07 | 山东第二医科大学 | 一种个性化联邦知识蒸馏模型构建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115587633A (zh) | 一种基于参数分层的个性化联邦学习方法 | |
Wang et al. | Optimizing federated learning on non-iid data with reinforcement learning | |
CN111242282B (zh) | 基于端边云协同的深度学习模型训练加速方法 | |
CN111858009B (zh) | 基于迁移和强化学习的移动边缘计算***任务调度方法 | |
CN112862011A (zh) | 基于联邦学习的模型训练方法、装置及联邦学习*** | |
CN111030861B (zh) | 一种边缘计算分布式模型训练方法、终端和网络侧设备 | |
CN113705610B (zh) | 一种基于联邦学习的异构模型聚合方法和*** | |
JP2021006980A (ja) | スパース性制約及び知識の蒸留に基づくスパースかつ圧縮されたニューラルネットワーク | |
Jiang et al. | Fedmp: Federated learning through adaptive model pruning in heterogeneous edge computing | |
Wu et al. | FedSCR: Structure-based communication reduction for federated learning | |
Xiao et al. | Fast deep learning training through intelligently freezing layers | |
CN109983480A (zh) | 使用聚类损失训练神经网络 | |
Liu et al. | Resource-constrained federated edge learning with heterogeneous data: Formulation and analysis | |
CN117236421B (zh) | 一种基于联邦知识蒸馏的大模型训练方法 | |
CN114091667A (zh) | 一种面向非独立同分布数据的联邦互学习模型训练方法 | |
CN113595993B (zh) | 边缘计算下模型结构优化的车载感知设备联合学习方法 | |
CN115829027A (zh) | 一种基于对比学习的联邦学习稀疏训练方法及*** | |
Zhu et al. | FedOVA: one-vs-all training method for federated learning with non-IID data | |
CN116957106A (zh) | 一种基于动态注意力机制的联邦学习模型训练方法 | |
CN117523291A (zh) | 基于联邦知识蒸馏和集成学习的图像分类方法 | |
CN115359298A (zh) | 基于稀疏神经网络的联邦元学习图像分类方法 | |
Cai et al. | High-efficient hierarchical federated learning on non-IID data with progressive collaboration | |
CN115577797A (zh) | 一种基于本地噪声感知的联邦学习优化方法及*** | |
CN117746172A (zh) | 基于域差异感知蒸馏的异构模型聚合方法及*** | |
CN117033997A (zh) | 数据切分方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |