CN115174397A - 联合梯度量化与带宽分配的联邦边缘学习训练方法及*** - Google Patents

联合梯度量化与带宽分配的联邦边缘学习训练方法及*** Download PDF

Info

Publication number
CN115174397A
CN115174397A CN202210896876.3A CN202210896876A CN115174397A CN 115174397 A CN115174397 A CN 115174397A CN 202210896876 A CN202210896876 A CN 202210896876A CN 115174397 A CN115174397 A CN 115174397A
Authority
CN
China
Prior art keywords
node
quantization
representing
gradient
edge server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210896876.3A
Other languages
English (en)
Other versions
CN115174397B (zh
Inventor
唐斌
阎昊
叶保留
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Jiangsu Future Networks Innovation Institute
Original Assignee
Hohai University HHU
Jiangsu Future Networks Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, Jiangsu Future Networks Innovation Institute filed Critical Hohai University HHU
Priority to CN202210896876.3A priority Critical patent/CN115174397B/zh
Publication of CN115174397A publication Critical patent/CN115174397A/zh
Application granted granted Critical
Publication of CN115174397B publication Critical patent/CN115174397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种联合梯度量化与带宽分配的联邦边缘学习训练方法及***。方法包括：节点向边缘服务器发送自身设备的参数信息；边缘服务器根据每个节点发送的参数信息计算每个节点的信道状况，得出各个上行信道的信道增益，根据信道增益、发送功率、样本数量和计算能力，求解优化问题，分配量化比特数和带宽，向参与联邦学习的节点广播可用的量化比特数和全局模型；节点根据全局模型和本地数据计算本地更新梯度，基于量化比特数对本地更新梯度进行量化，并将量化后的本地梯度发送给边缘服务器；边缘服务器聚合收到的梯度，更新全局模型。本发明可以有效缓解边缘资源有限和设备异构对联邦学习训练的影响，缓解通信瓶颈，提高训练效率。

Description

联合梯度量化与带宽分配的联邦边缘学习训练方法及***
技术领域
本发明涉及分布式***领域，具体涉及一种联合梯度量化与带宽分配的联邦边缘学习训练方法及***。
背景技术
联邦边缘学习(Federated Edge Learning)正在成为一种流行的分布式隐私保护机器学习框架，多个边缘设备在边缘服务器的帮助下协作训练机器学习模型。在联邦边缘学习中，边缘设备根据本地数据计算全局模型的梯度，并以迭代方式将梯度上传到边缘服务器以进行模型更新。然而，由于共享无线频谱的有限性以及训练参数过多，联邦边缘学习通常会受到通信瓶颈的严重影响。一种有效的缓解通信瓶颈的方法是量化，即使用较少的比特来表示梯度。考虑梯度量化以减少通信流量，并减少总训练延迟为目标是联邦边缘学习中的一个关键问题。总训练延迟与所需训练轮数和每轮延迟成正比。前者与梯度量化方案密切相关，即各个边缘设备的量化级别。后者由梯度量化方案和带宽分配方案共同确定。带宽分配方案指定如何在边缘设备之间共享频谱，与梯度量化密切相关，例如，当边缘设备使用更高的量化级别导致更大的通信流量时，它需要更多的带宽来缩短其传输时间。同时，每轮迭代的延迟由最慢的边缘设备决定。因此，有必要联合所有边缘设备对带宽分配和梯度量化选择进行优化。
目前，一些考虑不同环境下带宽分配和梯度量化的联合优化的方案已经被提出。其中，部分方案考虑了基于最值的随机量化方法，其中每个边缘服务器处的量化水平依赖于其局部梯度的动态范围。因此，只有当所有边缘设备都执行了其局部梯度时，才能进行联合优化，这导致计算速度较快的边缘设备需要等待速度较慢的设备才能开始传输。相比之下，另一些工作考虑另一种基于梯度模的量化方法，量化后梯度的方差仅与量化级别有关，因此边缘服务器可以在每轮训练开始之前对量化比特数分配方案进行优化。然而，虽然上述方法有了较好的效果，但是这些方法普遍存在以下问题：(1)仅考虑模型训练的收敛性，优化了训练轮的数量，但未考虑每轮延迟。(2)所有的节点使用相同的量化级别，从而导致联邦学习的结果是次优的。
发明内容
发明目的：本发明的主要目的在于缓解边缘联邦学习中的通信瓶颈，克服现有技术的缺点与不足，提出一种联合优化梯度量化和带宽分配的联邦边缘学习训练方法及***。
技术方案：为了实现以上发明目的，本发明的技术方案如下：一种联合梯度量化与带宽分配的联邦边缘学习训练方法，包括以下步骤：
各个节点经由上行信道向边缘服务器发送自身设备的参数信息；
边缘服务器根据节点上传的参数信息估计节点的信道增益、计算能力，根据每个节点的信道增益、发送功率、样本数量和计算能力，建立以最小化迭代时间和模型收敛性为目标的优化问题并求解优化问题，得到各个节点分配的量化比特数和带宽；
边缘服务器向参与联邦学习的节点广播可用的量化比特数和全局模型；
节点根据全局模型和本地数据计算本地更新梯度，基于量化比特数对本地更新梯度进行量化；
节点将量化后的本地更新梯度发送至边缘服务器；
边缘服务器聚合收到的梯度，更新全局模型，若全局模型收敛，则本次联邦学习结束；否则，从头开始执行联邦学习的各步骤，直至全局模型收敛。
进一步地，每个节点向边缘服务器发送的参数信息包括：CPU频率、样本数量、发送功率、设备位置，其中CPU频率和样本数量用于估算节点本地计算所需时间，节点位置与发送功率用于估算节点的传输能力。
进一步地，所述优化问题为：
(P1):minσ2·tround
Figure BDA0003769402950000021
Figure BDA0003769402950000022
Figure BDA0003769402950000023
Figure BDA0003769402950000024
其中，
Figure BDA0003769402950000025
表示模型的收敛性，N表示节点的总数，Nm表示节点m的样本数量，sm表示节点m的量化等级，Z表示梯度的模上界，d表示模型参数的个数，tround表示迭代所需的时间，
Figure BDA0003769402950000026
表示节点m计算所需的时间，qm＝
Figure BDA0003769402950000034
表示节点m的量化比特数，Pm表示节点m的发送功率，hm表示节点m的信道增益，bm表示节点m分配到的带宽，Em表示节点m的能量限制，N0表示信道的高斯白噪音，
Figure BDA0003769402950000031
表示节点m计算阶段所需的能量，M表示参与训练的节点的个数，B表示上行信道的总带宽，
Figure BDA0003769402950000032
指的是***中默认表示元素所用的比特数，N+表示正整数集合。
进一步地，节点基于量化比特数对本地更新梯度进行量化包括：节点接收到量化比特数分配信息，通过量化比特数分配信息块中每个量化比特数分配单元前端的节点编号，查找到自己分配到的量化比特数，存储于存储单元中；节点利用存储单元中存储的量化比特数，使用均匀量化方法对本地模型的更新梯度进行量化。
进一步地，所述均匀量化方法包括：对总量化区间均匀划分得到子量化区间，子量化区间的数量为量化等级，量化等级s与量化比特数q关系如下：s＝2q-1，当待量化数值位于某个子量化区间时，按指定的量化规则量化为子量化区间的左端点或右端点。
进一步地，所述指定的量化规则为：将更新梯度展平为向量，每个向量的分量映射的码本的取值如下：
Qs(vi)＝‖v‖sgn(vi)ξi(v,s),i＝1,2,…,n
其中，Qs(vi)为更新梯度展平后的向量v的第i个分量的取值，sgn(vi)为向量v的第i个分量的符号，ξi(v,s)为独立随机变量，表示向量v的第i个分量的按概率取值，具体为：
Figure BDA0003769402950000033
其中，概率p(a,s)＝as-l，l为小于等于s的非负整数。
进一步地，节点采用三元组(‖v‖2,σ,ξ)表示量化后的更新梯度，并将三元组的信息传输至边缘服务器，所述三元组的具体内容为：向量的模‖v‖2、按原顺序构成的向量分量的符号向量σ以及分量映射的整数构成的向量ξ，其中ξi＝s·ξi(v,s)。
本发明还提供一种联邦学习***，包括边缘服务器以及若干个节点，各个节点用于经由上行信道向边缘服务器发送自身设备的参数信息，并接收边缘服务器广播发送的量化比特数和全局模型，根据全局模型和本地数据计算本地更新梯度，基于量化比特数对本地更新梯度进行量化，将量化后的本地更新梯度发送至边缘服务器；
边缘服务器用于根据节点上传的参数信息估计节点的信道增益、计算能力，根据每个节点的信道增益、发送功率、样本数量和计算能力，建立以最小化迭代时间和模型收敛性为目标的优化问题并求解优化问题，得到各个节点分配的量化比特数和带宽，向参与联邦学习的节点广播可用的量化比特数和全局模型，并接收节点将量化后的本地更新梯度，聚合收到的梯度，更新全局模型，直至全局模型收敛。
本发明与现有技术相比，具有如下优点和有益效果：(1)本发明充分利用了联邦学习的边缘服务器和节点的交互性，使得边缘服务器通过获取节点的计算时间和上行信道的优劣情况，对节点上传的更新梯度进行量化比特数可自适应调整的均匀量化，充分发掘了边端协同的能动性。(2)本发明采用的均匀量化方法，由需要传输整个梯度向量变为只需要传输包含梯度向量信息的三元组，量化后节点上传的数据规模明显减小，且具有较小的量化方差。(3)本发明具有较好的扩展潜力，通过使用高效的编码方式，可以进一步减小量化后上传的数据规模，且可以根据需要在量化后增加稀疏方法，达到更好程度的数据压缩效果。(4)本发明不需要在原有的联邦学习***中增加额外装置，有效降低***布设成本，简单有效，节点之间交互开销小。
附图说明
图1是本发明联邦学习的***示意图；
图2是本发明联邦学习训练方法的总体流程图；
图3是本发明实施量化比特数分配后得到的量化比特数分配信息块；
图4是本发明梯度中元素的量化示意图；
图5是本发明联邦学习的具体实施流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
图1为本发明所述联邦学习***示意图，该联邦学习***包括边缘服务器以及若干个节点，其中边缘服务器部署在基站中，每个边缘服务器包括计算单元、存储单元以及发送单元。节点包括量化单元、存储单元、训练单元以及发送单元。边缘服务器和节点协作完成指定任务，任务需要使用的原始数据分布于节点中，边缘服务器无法接触到原始数据；节点和边缘服务器之间需要完成本地模型更新和全局模型更新的交换，节点利用本地原始数据和边缘服务器广播的全局模型更新本地模型，边缘服务器利用节点更新的本地模型更新全局模型。
在本实施例中，由于所述节点通常为手机、智能手表等便携式移动智能设备，电池体积有限，无法提供充足的资源来发送数据规模庞大的本地模型更新，因此本发明所提出的联合优化梯度量化和带宽分配的联邦边缘学习训练框架考虑了设备的能量限制，可用于缓解所述联邦学习***中所述边缘服务器和所述节点交互时产生的通信瓶颈。
图2为本发明一种联合梯度量化和带宽分配的联邦边缘学习训练方法的流程示意图。主要步骤如下：
1)节点上传参数信息，边缘服务器估计节点的信道增益；
参与联邦学习的节点向边缘服务器发送设备参数信息，参数包括设备的CPU频率，样本数量，物理位置，发送功率等信息。其中CPU频率和样本数量用于估算本地计算所需时间，节点位置与发送功率用于估算节点的传输能力。
边缘服务器接收节点发送的设备信息，边缘服务器在存储单元中以队列的形式依次存储各个节点的设备信息；边缘服务器每次调用存储单元队列中一个节点的设备信息，根据
Figure BDA0003769402950000051
在计算单元中进行信道增益的估算，式中om为瑞利衰落参数，dm为节点m和基站即边缘服务器之间的距离；复制已经完成信道增益估计的节点编号，将每个节点的信道增益单元首尾相接后，得到所有节点信道增益信息，存储于存储单元中。
2)边缘服务器利用节点的参数，求解优化问题，分配节点可以使用的量化比特数和带宽，广播全局模型和量化比特数分配情况；
根据香农定理，可以推断出节点的发送功率越大，信道增益越大，传输能力就越强，但是从香农公式中无法得到传输能力的闭式解，只能估算。本发明中，根据公式
Figure BDA0003769402950000052
估算节点本地计算所需时间，公式中Nm表示节点拥有的样本数量，Fm表示节点CPU频率，γ表示每个节点处理一个样本所需的CPU周期数。
使用存储单元中的信道增益和节点信息(含发送功率)估算节点的传输能力。根据香农第二公式，节点m的传输速率rm表示为：
Figure BDA0003769402950000053
其中，bm表示节点m分配到的带宽，Pm表示节点m的发送功率，N0表示信道的高斯白噪音。
边缘服务器基于估计的信道增益信息和节点的本地计算时间，代入参数未知、具体模型已经确定的优化问题中，分别求解每个节点分配到的量化比特数和带宽，得到量化比特数分配单元，首尾相接后得到量化比特数分配信息块，并以队列的形式将量化比特数分配信息块存储发送。边缘服务器的计算单元负责求解优化问题以及聚合收到的梯度，存储单元负责存储数据节点的参数信息、量化比特数分配信息块，发送单元负责向节点广播数据，如量化比特数分配信息块、全局模型。
图3所示为量化比特数分配后得到的量化比特数分配信息块。节点编号指在边缘服务器中区分不同节点的序列号。
根据本发明的实施方式，优化问题具体为：
(P1):minσ2·tround
Figure BDA0003769402950000061
Figure BDA0003769402950000062
Figure BDA0003769402950000063
Figure BDA0003769402950000064
Figure BDA0003769402950000065
其中，
Figure BDA0003769402950000066
表示模型的收敛性，N表示节点的总数，Nm表示节点m的样本数量，sm表示节点m的量化等级，Z表示梯度的模上界，d表示模型参数的个数。tround表示迭代所需的时间，Pm表示节点m的发送功率，hm表示节点m的信道增益，bm表示节点m分配到的带宽，Em表示节点m的能量限制，qm＝
Figure BDA00037694029500000613
表示节点m的量化比特数，
Figure BDA0003769402950000067
表示节点m计算所需的时间，N0表示信道的高斯白噪音，
Figure BDA0003769402950000068
表示节点m计算阶段所需的能量，本发明假设节点计算阶段功率固定，因此计算阶段所需能量
Figure BDA0003769402950000069
与计算时间
Figure BDA00037694029500000610
成正比，可以根据CPU频率和计算时间计算，公式为
Figure BDA00037694029500000611
γm表示与***架构有关的系数，M表示参与训练的节点的个数，B表示上行信道的总带宽，
Figure BDA00037694029500000612
指的是***中默认表示元素所用的比特数，通常为32比特，N+表示正整数集合。
其中量化比特数和带宽是未知参数，带宽和量化比特数共同决定了节点传输梯度需要的时间。
3)节点利用接收到的全局模型和本地存储的数据进行若干次本地训练，得到更新的本地梯度信息，随后根据分配的量化比特数，量化更新后的本地梯度；
节点接收到量化比特数分配信息块，通过量化比特数分配信息块中每个量化比特数分配单元前端的节点序号，查找到自己分配到的量化比特数；节点利用存储单元中存储的量化比特数，使用均匀量化方法对本地模型的更新梯度进行量化。节点的存储单元负责存储训练数据、全局模型，训练单元负责使用数据训练全局模型得到梯度，量化单元负责将训练好的梯度量化，发送单元负责将量化后的梯度发送至边缘服务器。
根据本发明的实施方式，均匀量化方法中的子量化区间为总量化区间均匀划分后得到，其中，当待量化数值位于某个子量化区间时，按一定的量化规则量化为子量化区间的左端点或右端点，均匀量化方法的具体量化规则为：将更新梯度展平为向量，梯度是一个多维矩阵，例如，它的形状可能是3*4*5，展开成向量就是60*1，向量中的一个元素则为分量，每个向量的分量映射的码本的取值规则如下：
Qs(vi)＝‖v‖sgn(vi)ξi(v,s),i＝1,2,…,n
其中，Qs(vi)为更新梯度展平后的向量v的第i个分量的取值，sgn(vi)为向量v的第i个分量的符号，ξi(v,s)为独立随机变量，表示向量v的第i个分量的按概率取值，具体为：
Figure BDA0003769402950000071
其中，概率p(a,s)＝as-l，l为小于等于s的非负整数；注意这里的a是一个形参，实参是
Figure BDA0003769402950000072
本发明中，量化等级为子量化区间的数量，量化等级s与量化比特数q关系如下：s＝2q-1，或者表示为
Figure BDA0003769402950000073
因此可以基于其中一个值来确定另一个的值。
均匀量化方法量化后，采用三元组(‖v‖2,σ,ξ)来表示量化后的更新梯度，在传输时只需要传输三元组的信息，所述三元组的具体内容为：向量的模‖v‖2、按原顺序构成的向量分量的符号向量σ以及分量映射的整数构成的向量ξ，其中ξi＝s·ξi(v,s)，ξi表示向量ξ的第i个分量。
该量化方法示意图如图4所示。图中表示对于向量中的一个分量进行量化，对分量进行
Figure BDA0003769402950000081
操作后能保证每个分量都落在[0,1]区间内，从而转化为[0,1]上的量化，最终的上下取值概率之比就是量化点到上下量化水平的距离之比。图4中是一个量化等级为4，分量与向量模之比
Figure BDA0003769402950000082
为0.6的示意图，具体量化规则如上述公式所示。
4)节点将量化后的本地更新梯度通过独立不相干的上行信道上传到边缘服务器；
为了保证各子信道中所传输的信号互不干扰，应在各子信道之间设立隔离带，这样就保证了各路信号互不干扰。示例性地，上行信道使用频分复用信道，因为频分复用要求总频率宽度大于各个子信道频率之和。
5)边缘服务器接收到经过量化后的更新梯度，将所述更新梯度进行聚合，聚合后的梯度用于更新边缘服务器上的全局模型。
本发明充分利用了联邦学习的边缘服务器和节点的交互性，使得边缘服务器通过获取节点的计算时间和上行信道的优劣情况，对节点上传的更新梯度进行量化比特数可自适应调整的均匀量化，充分发掘了边端协同的能动性。本发明同时考虑了模型训练的收敛性和每轮的计算与通信延迟，为节点分配了不同的量化等级，在训练轮次和每轮延迟之间取得了最佳的权衡，解决了之前工作的不足。
如图5所示为在一个实施例中联邦学习的具体过程，包括以下步骤：(1)边缘服务器选择参加本次参与联邦学习迭代的节点；(2)节点上传设备参数信息；(3)若此次全局迭代为初次全局迭代，则边缘服务器进行模型初始化，并将初始化的全局模型广播至本次参与训练的节点；否则，将上次全局迭代后得到的更新的全局模型广播至本次参与训练的节点；(4)边缘服务器估计节点信道增益，分配节点分别可以使用的量化比特数；(5)边缘服务器广播量化比特数分配情况和全局模型；(6)节点从广播的信息中得到全局模型和自己得到的量化比特分配数。(7)节点利用接收到的全局模型和本地存储的数据进行一次或若干次本地训练，得到更新的本地梯度信息；(8)节点利用分配的量化比特数，量化更新的本地梯度信息，得到用于上传的量化的本地更新梯度；(9)节点将所述量化的本地更新梯度通过独立不相干的上行信道上传到边缘服务器；(10)边缘服务器接收到经过节点信道扰动的实际更新梯度，将实际更新梯度进行聚合，聚合后的梯度用于更新边缘服务器上的全局模型，若全局模型收敛，则本次联邦学习结束；否则，从头开始执行联邦学习的各步骤，直至全局模型收敛。
本发明中，边缘服务器根据节点上传的参数信息带入优化问题模型中，求出节点的量化比特数q和带宽b，下发给节点，节点根据量化比特数和量化等级的关系，确定量化等级s，再根据量化等级s和更新梯度展平后的向量v确定量化取值，形成三元组后基于带宽b上传至边缘服务器，通过上述处理过程，能够同时满足联邦边缘学习的计算和延迟需求，提高边端协同效率。

Claims (10)

1.一种联合梯度量化与带宽分配的联邦边缘学习训练方法，其特征在于，包括以下步骤：
各个节点经由上行信道向边缘服务器发送自身设备的参数信息；
边缘服务器根据节点上传的参数信息估计节点的信道增益、计算能力，根据每个节点的信道增益、发送功率、样本数量和计算能力，建立以最小化迭代时间和模型收敛性为目标的优化问题并求解优化问题，得到各个节点分配的量化比特数和带宽；
边缘服务器向参与联邦学习的节点广播可用的量化比特数和全局模型；
节点根据全局模型和本地数据计算本地更新梯度，基于量化比特数对本地更新梯度进行量化；
节点将量化后的本地更新梯度发送至边缘服务器；
边缘服务器聚合收到的梯度，更新全局模型，若全局模型收敛，则本次联邦学习结束；否则，从头开始执行联邦学习的各步骤，直至全局模型收敛。
2.根据权利要求1所述的方法，其特征在于，每个节点向边缘服务器发送的参数信息包括：CPU频率、样本数量、发送功率、设备位置，其中CPU频率和样本数量用于估算节点本地计算所需时间，节点位置与发送功率用于估算节点的传输能力。
3.根据权利要求1所述的方法，其特征在于，所述优化问题为：
(P1):minσ2·tround
s.t.
Figure FDA0003769402940000011
Figure FDA0003769402940000012
Figure FDA0003769402940000013
Figure FDA0003769402940000014
其中，
Figure FDA0003769402940000015
表示模型的收敛性，N表示节点的总数，Nm表示节点m的样本数量，sm表示节点m的量化等级，Z表示梯度的模上界，d表示模型参数的个数，tround表示迭代所需的时间，
Figure FDA0003769402940000016
表示节点m计算所需的时间，
Figure FDA0003769402940000017
Figure FDA0003769402940000018
表示节点m的量化比特数，Pm表示节点m的发送功率，hm表示节点m的信道增益，bm表示节点m分配到的带宽，Em表示节点m的能量限制，N0表示信道的高斯白噪音，
Figure FDA0003769402940000021
表示节点m计算阶段所需的能量，M表示参与训练的节点的个数，B表示上行信道的总带宽，
Figure FDA0003769402940000022
指的是***中默认表示元素所用的比特数，N+表示正整数集合。
4.根据权利要求1所述的方法，其特征在于，节点基于量化比特数对本地更新梯度进行量化包括：节点接收到量化比特数分配信息，通过量化比特数分配信息块中每个量化比特数分配单元前端的节点编号，查找到自己分配到的量化比特数，存储于存储单元中；节点利用存储单元中存储的量化比特数，使用均匀量化方法对本地模型的更新梯度进行量化。
5.根据权利要求4所述的方法，其特征在于，所述均匀量化方法包括：对总量化区间均匀划分得到子量化区间，子量化区间的数量为量化等级，量化等级s与量化比特数q关系如下：s＝2q-1，当待量化数值位于某个子量化区间时，按指定的量化规则量化为子量化区间的左端点或右端点。
6.根据权利要求5所述的方法，其特征在于，所述指定的量化规则为：将更新梯度展平为向量，每个向量的分量映射的码本的取值如下：
Qs(vi)＝‖v‖sgn(vi)ξi(v,s),i＝1,2,…,n
其中，Qs(vi)为更新梯度展平后的向量v的第i个分量的取值，sgn(vi)为向量v的第i个分量的符号，ξi(v,s)为独立随机变量，表示向量v的第i个分量的按概率取值，具体为：
Figure FDA0003769402940000023
其中，概率p(a,s)＝as-l，l为小于等于s的非负整数。
7.根据权利要求6所述的方法，其特征在于，节点采用三元组(‖v‖2,σ,ξ)表示量化后的更新梯度，并将三元组的信息传输至边缘服务器，所述三元组的具体内容为：向量的模‖v‖2、按原顺序构成的向量分量的符号向量σ以及分量映射的整数构成的向量ξ，其中ξi＝s·ξi(v,s)，ξi表示向量ξ的第i个分量。
8.一种联邦学习***，包括边缘服务器以及若干个节点，其特征在于，各个节点用于经由上行信道向边缘服务器发送自身设备的参数信息，并接收边缘服务器广播发送的量化比特数和全局模型，根据全局模型和本地数据计算本地更新梯度，基于量化比特数对本地更新梯度进行量化，将量化后的本地更新梯度发送至边缘服务器；
边缘服务器用于根据节点上传的参数信息估计节点的信道增益、计算能力，根据每个节点的信道增益、发送功率、样本数量和计算能力，建立以最小化迭代时间和模型收敛性为目标的优化问题并求解优化问题，得到各个节点分配的量化比特数和带宽，向参与联邦学习的节点广播可用的量化比特数和全局模型，并接收节点将量化后的本地更新梯度，聚合收到的梯度，更新全局模型，直至全局模型收敛。
9.根据权利要求8所述的联邦学习***，其特征在于，所述边缘服务器建立如下优化问题：
(P1):minσ2·tround
Figure FDA0003769402940000031
Figure FDA0003769402940000032
Figure FDA0003769402940000033
Figure FDA0003769402940000034
其中，
Figure FDA0003769402940000035
表示模型的收敛性，N表示节点的总数，Nm表示节点m的样本数量，sm表示节点m的量化等级，Z表示梯度的模上界，d表示模型参数的个数，tround表示迭代所需的时间，
Figure FDA0003769402940000036
表示节点m计算所需的时间，
Figure FDA0003769402940000037
Figure FDA0003769402940000038
表示节点m的量化比特数，Pm表示节点m的发送功率，hm表示节点m的信道增益，bm表示节点m分配到的带宽，Em表示节点m的能量限制，N0表示信道的高斯白噪音，
Figure FDA0003769402940000039
表示节点m计算阶段所需的能量，M表示参与训练的节点的个数，B表示上行信道的总带宽，
Figure FDA00037694029400000310
指的是***中默认表示元素所用的比特数，N+表示正整数集合。
10.根据权利要求8所述的联邦学习***，其特征在于，所述节点使用均匀量化方法对本地模型的更新梯度进行量化，所述均匀量化方法包括：对总量化区间均匀划分得到子量化区间，子量化区间的数量为量化等级，量化等级s与量化比特数q关系如下：s＝2q-1，当待量化数值位于某个子量化区间时，按指定的量化规则量化为子量化区间的左端点或右端点。
CN202210896876.3A 2022-07-28 2022-07-28 联合梯度量化与带宽分配的联邦边缘学习训练方法及*** Active CN115174397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210896876.3A CN115174397B (zh) 2022-07-28 2022-07-28 联合梯度量化与带宽分配的联邦边缘学习训练方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210896876.3A CN115174397B (zh) 2022-07-28 2022-07-28 联合梯度量化与带宽分配的联邦边缘学习训练方法及***

Publications (2)

Publication Number Publication Date
CN115174397A true CN115174397A (zh) 2022-10-11
CN115174397B CN115174397B (zh) 2023-10-13

Family

ID=83497319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210896876.3A Active CN115174397B (zh) 2022-07-28 2022-07-28 联合梯度量化与带宽分配的联邦边缘学习训练方法及***

Country Status (1)

Country Link
CN (1) CN115174397B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830709A (zh) * 2022-11-23 2023-03-21 深圳市大数据研究院 基于联邦边缘学习的动作识别方法、服务器及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121585A1 (en) * 2019-12-18 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods for cascade federated learning for telecommunications network performance and related apparatus
CN113098806A (zh) * 2021-04-16 2021-07-09 华南理工大学 一种联邦学习下边端协同的信道适应性梯度压缩方法
CN113315604A (zh) * 2021-05-25 2021-08-27 电子科技大学 一种联邦学习自适应梯度量化方法
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113723620A (zh) * 2020-05-25 2021-11-30 株式会社日立制作所 无线联邦学习中的终端调度方法和装置
CN114599096A (zh) * 2022-02-17 2022-06-07 南京邮电大学 一种移动边缘计算卸载时延优化方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121585A1 (en) * 2019-12-18 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods for cascade federated learning for telecommunications network performance and related apparatus
CN113723620A (zh) * 2020-05-25 2021-11-30 株式会社日立制作所 无线联邦学习中的终端调度方法和装置
CN113098806A (zh) * 2021-04-16 2021-07-09 华南理工大学 一种联邦学习下边端协同的信道适应性梯度压缩方法
CN113315604A (zh) * 2021-05-25 2021-08-27 电子科技大学 一种联邦学习自适应梯度量化方法
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN114599096A (zh) * 2022-02-17 2022-06-07 南京邮电大学 一种移动边缘计算卸载时延优化方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
屈志昊，叶保留，陈贵海，唐斌: "面向边缘计算的资源优化技术研究进展", 《大数据》, pages 17 - 28 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830709A (zh) * 2022-11-23 2023-03-21 深圳市大数据研究院 基于联邦边缘学习的动作识别方法、服务器及电子设备

Also Published As

Publication number Publication date
CN115174397B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN113139662B (zh) 联邦学习的全局及局部梯度处理方法、装置、设备和介质
CN111314889B (zh) 车联网中基于移动边缘计算的任务卸载与资源分配方法
CN113098806B (zh) 一种联邦学习下边端协同的信道适应性梯度压缩方法
CN110167176B (zh) 一种基于分布式机器学习的无线网络资源分配方法
CN112105062B (zh) 时敏条件下移动边缘计算网络能耗最小化策略方法
CN114142907B (zh) 一种通信终端设备的信道筛选优化方法及***
CN113222179A (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
US9723572B2 (en) Systems and methods for uplink power control and scheduling in a wireless network
CN112084025B (zh) 一种基于改进粒子群算法的雾计算任务卸载时延优化方法
CN111475301A (zh) 卫星资源分配方法、装置和电子设备
CN111629380A (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN105379412A (zh) 一种控制多个无线接入节点的***和方法
CN109831808B (zh) 一种基于机器学习的混合供电c-ran的资源分配方法
CN102158962B (zh) 基站协作中的分簇方法、资源分配方法及相关设备
CN114885420A (zh) 一种noma-mec***中的用户分组和资源分配方法及装置
CN111182509B (zh) 一种基于上下文感知学习的泛在电力物联网接入方法
CN114051222A (zh) 一种车联网环境下基于联邦学习的无线资源分配和通信优化方法
CN112911608A (zh) 一种面向边缘智能网络的大规模接入方法
CN115174397B (zh) 联合梯度量化与带宽分配的联邦边缘学习训练方法及***
CN115796271A (zh) 基于客户端选择和梯度压缩的联邦学习方法
CN115392348A (zh) 联邦学习梯度量化方法、高效通信联邦学习方法及相关装置
WO2024050659A1 (zh) 一种联邦学习下边端协同的信道适应性梯度压缩方法
CN116128070B (zh) 基于无线空中计算和多比特量化压缩感知的联邦学习方法
CN117580063A (zh) 一种车联网络中多维资源协同管理方法
CN114710187B (zh) 一种用户数动态变换场景下多小区大规模mimo智能通信的功率分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant