CN115118591B - 一种基于联盟博弈的簇联邦学习方法 - Google Patents

Abstract

本发明公开了一种基于联盟博弈的簇联邦学习方法，包括：在物联网边缘环境下搭建簇联邦学习***，包含多个用户设备和一个中心服务器；基于用户本地梯度的余弦相似度以及每个簇内成功参与训练的设备个数定义每个簇的效用；基于联盟博弈的方法对用户设备进行分簇，同时优化带宽分配；基于分簇结果执行簇联邦学习训练。本发明能够在多任务联邦学习场景下，有效提高训练的效率以及准确率。

Description

一种基于联盟博弈的簇联邦学习方法

技术领域

本发明属于物联网信息处理技术领域，涉及物联网场景下簇联邦学习***中的用户设备分簇与资源分配，特别是一种基于联盟博弈的簇联邦学习方法。

背景技术

随着物联网技术的发展，网络边缘侧的用户设备将会产生大量的本地数据。这些有价值的数据可以通过与人工智能技术相结合，为终端用户提供智慧化服务。然而传统的人工智能训练往往采取的是集中式的训练方式，即用户设备将本地数据上传到中心服务器，再由中心服务器集中式训练人工智能模型。然而，这种由设备直接上传数据的方式会产生隐私泄露问题。为解决该问题，一种名为联邦学习的分布式训练方法在近几年被提出，该方法中用户设备首先进行本地训练，然后将训练之后的本地模型或者梯度参数上传至中心服务器，中心服务器对接收到的本地模型进行聚合，并分发给用户设备从而进行下一个训练周期。联邦学习方法由于用户设备只需要上传模型参数而非原始的数据，因此数据隐私得到较好的保护。然而，在实际场景中，可能同时存在多个联邦学习任务，因此需要按照任务类型对设备进行分簇并同时训练多个簇模型，这种多任务的联邦学习方法也被称为簇联邦学习方法。值得注意的是，由于无法直接观察用户设备本地数据的分布情况，只能根据模型或者是梯度参数去判断设备之间的相似性。为解决该问题，文献[1]中首次提出簇联邦学习方法，该方法首先通过计算用户设备本地梯度的余弦相似度来确定样本分布的一致性，然后在每个训练周期中基于二分法将用户设备分簇并同时训练多个簇模型。文献[2]提出了新增用户设备时簇联邦学习方法中簇结构更新策略。然而，上述有关簇联邦学习方法只考虑基于样本分布的相似性去提升学习性能，但是忽略了物联网环境下有限的通信资源对簇联邦学习性能的影响，并且没有考虑用户设备训练时间和传输时间，因此降低了无线环境下的训练效率。

[1]Sattler F,Müller K-R,Samek W.Clustered federated learning:Model-agnostic distributed multitask optimization under privacy constraints[J].IEEEtransactions on neural networks learning systems,2020,32(8):3710-3722.

[2]Duan M,Liu D,Ji X,et al.FedGroup:efficient clustered federatedlearning via decomposed data-driven measure[C].2021IEEE Intl Conf onParallel&Distributed Processing with Applications,Big Data&Cloud Computing,Sustainable Computing&Communications,Social Computing&Networking,2020:228-237.

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于联盟博弈的簇联邦学习方法，在无线资源受限的情况下，基于相似度以及每个簇内成功参与训练的用户设备个数，对用户设备有效分簇及进行训练。

为解决上述技术问题，本发明采用以下技术方案。

一种基于联盟博弈的簇联邦学习方法，包括以下步骤：

步骤一、在物联网边缘环境下搭建簇联邦学习***；

步骤二、基于用户本地梯度的余弦相似度以及每个簇内成功参与训练的设备个数定义每个簇的效用；基于联盟博弈的方法对用户设备进行分簇，同时优化带宽分配；

步骤三、基于分簇结果执行簇联邦学习训练；

所述的簇联邦学习***包含多个用户设备和一个中心服务器，其中用户设备数目为K，用户设备集合定义为N，用户设备k∈N的本地数据集为D_k，训练样本数目为D_k；设备分簇之后的簇结构为Π＝{V₁,V₂,...,V_|Π|}，其中S＝{1,2,...,|Π|}为簇索引；簇s∈S中的设备集合表示为V_s，其中s≠s′；如果设备k∈V_s则有a_k,s＝1，否则a_k,s＝0；簇模型集合表示为W＝{w₁,w₂,...,w_|Π|}，设备k在簇模型w_s的训练损失为F_k(w_s)，则簇联邦学习的训练目标为

具体地，每一个训练周期设备消耗的时间包括本地计算时延和梯度上传时延，其中：

设备k本地训练时延可以用负指数分布表示为

其中ψ是预留本地训练的时间，χ和是与时延分布相关的参数；

设备k的模上传时延为

其中，M是上传梯度的大小，是上传速率，其中b_k是带宽，p_k是传输功率，h_k是信道增益，N₀是背景噪声；每个簇的总带宽为B。

具体地，只有簇内设备数目大于1时候簇内的设备才需要上传本地模型到中心服务器，否则这些设备只需要进行本地训练。

具体地，簇s的效用主要受簇内设备的余弦相似度以及簇内成功参与训练的设备个数影响，该效用可以表示为

其中，ρ是权重系数，/>表示设备k本地模型在训练周期r被中心服务器成功接收，否则/>

具体地，给定簇结构Π下，为最大化每个簇的效用，设备k∈V_s的带宽为

其中W(·)是朗伯W函数，τ^max是每个周期的时延预算，满足/>

具体地，在训练周期r内，设备k∈V_s基于对应的簇模型计算本地梯度并将其发送给中心服务器；其中簇s初始化的簇模型可以表示为

其中η是学习率；

中心服务器根据分簇的结果已经接收到的本地模型计算各个簇的簇模型

每个周期的结束阶段，中心服务器将更新后的簇模型广播给对应簇内的设备，用于下一个周期的训练。

具体地，若每个设备不与其他设备组成簇时可以单独看成是一个簇，并且该簇的效用设定为1，为最大化每个簇的平均效用，则采用下述基于联盟博弈的分布式分簇方法进行分簇：

在一个迭代周期内，每个设备k∈V_s离开当前所在的簇s并选择另外一个簇s'∈S，s≠s'，所选择的簇s'在设备k加入后的效用为U_s'(V_s',k)，并且满足U_s'(V_s',k)＞U_s(V_s)；

如果设备所加入的簇可以获得比设备加入前更大的效用，例如U_s'(V_s',k)＞U_s'(V_s')，则簇s'允许设备k加入；

如果***中没有设备愿意离开当前簇并加入其他簇，则表示簇结构稳定；

上述步骤需重复多次直到没有用户设备能够离开当前所在的簇；并且计算簇的效用的同时需要优化带宽资源。

与现有技术相比，本发明具有以下优点和有益效果：

1.本发明可以在不直接观察用户设备本地数据分布的情况下对设备进行分簇；

2.本发明采用的簇联邦学习方法考虑到有限的通信资源限制，提高簇联邦学习***在无线环境下学习性能。

3.本文所提出的簇联邦学习方法可以应用于医疗健康、用户推荐、智能工厂等信息科技领域，在智能业务落地的同时保障用户设备的数据隐私安全。

附图说明

图1为本发明的一种实施例的基于联盟博弈的簇联邦学习***架构图。

图2为本发明的一种实施例的基于联盟博弈的簇联邦学习方法流程图。

图3为本发明的一种实施例与基准算法学习性能的对比示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示为本发明的一种基于联盟博弈的簇联邦学习***架构图。所考虑的簇联邦学习***中包含多个用户设备和一个中心服务器，并且用户设备基于分簇结果同时进行多个簇联邦学习训练。

如图2所示本发明的一种基于联盟博弈的簇联邦学习方法，包括以下步骤：

步骤一、在物联网边缘环境下搭建簇联邦学习***，所考虑的簇联邦学习***中包含多个用户设备和一个中心服务器，其中用户设备数目为K，用户设备集合定义为N，用户设备k∈N的本地数据集为D_k，训练样本数目为D_k；设备分簇之后的簇结构为Π＝{V₁,V₂,...,V_|Π|}，其中S＝{1,2,...,|Π|}为簇索引；簇s∈S中的设备集合可以表示为V_s，其中s≠s′。如果设备k∈V_s则有a_k,s＝1，否则a_k,s＝0。簇模型集合可以表示为W＝{w₁,w₂,...,w_|Π|}，设备k在簇模型w_s的训练损失为F_k(w_s)。则簇联邦学习的训练目标为

步骤二、基于用户本地梯度的余弦相似度以及每个簇内成功参与训练的设备个数定义每个簇的效用。基于联盟博弈的方法对用户设备进行分簇，同时优化带宽分配。每一个训练周期设备消耗的时间主要包括本地计算时延和梯度上传时延，其中设备k本地训练时延τ_k ^c可以用负指数分布表示为

其中ψ是预留本地训练的时间，χ和是与时延分布相关的参数。

此外设备k的模上传时延为

其中M是上传梯度的大小，是上传速率，其中b_k是带宽，p_k是传输功率，h_k是信道增益，N₀是背景噪声。每个簇的总带宽为B。注意只有簇内设备数目大于1时候簇内的设备才需要上传本地模型到中心服务器，否则这些设备只需要进行本地训练。

簇s的效用主要受簇内设备的余弦相似度以及簇内成功参与训练的设备个数影响，该效用可以表示为

其中，ρ是权重系数，/>表示设备k本地模型在训练周期r被中心服务器成功接收，否则/>

给定簇结构Π下，为最大化每个簇的效用，其中设备k∈V_s的带宽为

其中W(·)是朗伯W函数，τ^max是每个周期的时延预算，满足/>

如果每个设备不与其他设备组成簇时可以单独看成是一个簇，并且该簇的效用设定为1。此外，为最大化每个簇的平均效用，则采用下述的一种基于联盟博弈的分布式分簇方法：在一个迭代周期内，每个设备k∈V_s离开当前所在的簇s并选择另外一个簇s'∈S，s≠s'，所选择的簇s'在设备k加入后的效用为U_s'(V_s',k)，并且满足U_s'(V_s',k)＞U_s(V_s)。如果设备所加入的簇可以获得比设备加入前更大的效用，例如U_s'(V_s',k)＞U_s'(V_s')，则簇s'允许设备k加入。如果***中没有设备愿意离开当前簇并加入其他簇，则表示簇结构稳定。上述步骤需重复多次直到没有用户设备能够离开当前所在的簇。并且，计算簇的效用的同时需要优化带宽资源。

步骤三、基于分簇结果执行簇联邦学习训练。训练周期r内，设备k∈V_s基于对应的簇模型计算本地梯度并将其发送给中心服务器，其中簇s初始化的簇模型可以表示为

其中η是学习率。

中心服务器根据分簇的结果已经接收到的本地模型计算各个簇的簇模型，例如

其中表示设备k本地模型被中心服务器成功接收，否则/>每个周期的结束阶段，中心服务器将更新后的簇模型广播给对应簇内的设备，用于下一个周期的训练。

如图2所示，作为本发明实施例的一种特殊情况，可推广到其他类似情形。图中给出了本方法所得到的平均测试准确率，对比方法是没有同时考虑相似性以及每个簇内成功参与训练的设备个数。具体参数设置如下：

Claims (4)

1.一种基于联盟博弈的簇联邦学习方法，其特征在于，包括以下步骤：

步骤一、在物联网边缘环境下搭建簇联邦学习***；

步骤二、基于用户本地梯度的余弦相似度以及每个簇内成功参与训练的设备个数定义每个簇的效用；基于联盟博弈的方法对用户设备进行分簇，同时优化带宽分配；

步骤三、基于分簇结果执行簇联邦学习训练；

所述的簇联邦学习***包含多个用户设备和一个中心服务器，其中用户设备数目为K，用户设备集合定义为用户设备/>的本地数据集为/>训练样本数目为D_k；设备分簇之后的簇结构为/>其中/>为簇索引；簇/>中的设备集合表示为/>其中/>如果设备/>则有a_k,s＝1，否则a_k,s＝0；簇模型集合表示为/>设备k在簇模型w_s的训练损失为F_k(w_s)，则簇联邦学习的训练目标为

每一个训练周期设备消耗的时间包括本地计算时延和梯度上传时延，其中：

设备k本地训练时延可以用负指数分布表示为

其中ψ是预留本地训练的时间，χ和是与时延分布相关的参数；

设备k的模上传时延为

其中，M是上传梯度的大小，是上传速率，其中b_k是带宽，p_k是传输功率，h_k是信道增益，N₀是背景噪声；每个簇的总带宽为B；

只有簇内设备数目大于1时候簇内的设备才需要上传本地模型到中心服务器，否则这些设备只需要进行本地训练；

簇s的效用主要受簇内设备的余弦相似度以及簇内成功参与训练的设备个数影响，该效用可以表示为

其中，ρ是权重系数，/>表示设备k本地模型在训练周期r被中心服务器成功接收，否则/>

2.根据权利要求1所述的一种基于联盟博弈的簇联邦学习方法，其特征在于，给定簇结构Π下，为最大化每个簇的效用，设备的带宽为

其中是朗伯W函数，τ^max是每个周期的时延预算，/>满足/>

3.根据权利要求1所述的一种基于联盟博弈的簇联邦学习方法，其特征在于，在训练周期r内，设备基于对应的簇模型计算本地梯度/>并将其发送给中心服务器；其中簇s初始化的簇模型可以表示为

其中η是学习率；

中心服务器根据分簇的结果已经接收到的本地模型计算各个簇的簇模型

每个周期的结束阶段，中心服务器将更新后的簇模型广播给对应簇内的设备，用于下一个周期的训练。

4.根据权利要求1所述的一种基于联盟博弈的簇联邦学***均效用，则采用下述基于联盟博弈的分布式分簇方法进行分簇：

在一个迭代周期内，每个设备离开当前所在的簇s并选择另外一个簇/>s≠s'，所选择的簇s'在设备k加入后的效用为/>并且满足/>

如果设备所加入的簇可以获得比设备加入前更大的效用，则簇s'允许设备k加入；

如果***中没有设备愿意离开当前簇并加入其他簇，则表示簇结构稳定；

上述步骤需重复多次直到没有用户设备能够离开当前所在的簇；并且计算簇的效用的同时需要优化带宽资源。