CN114745383A - 一种移动边缘计算辅助多层联邦学习方法 - Google Patents
一种移动边缘计算辅助多层联邦学习方法 Download PDFInfo
- Publication number
- CN114745383A CN114745383A CN202210367919.9A CN202210367919A CN114745383A CN 114745383 A CN114745383 A CN 114745383A CN 202210367919 A CN202210367919 A CN 202210367919A CN 114745383 A CN114745383 A CN 114745383A
- Authority
- CN
- China
- Prior art keywords
- training
- server
- cloud server
- calculation
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 title claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 15
- 230000006855 networking Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 70
- 238000005457 optimization Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000013468 resource allocation Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供了一种移动边缘计算辅助多层联邦学习方法，通过把设计多层联邦学习转化成为利用求解器求解函数最优解的过程，来获得高效的联邦学习方案。通过将车联网设备的联邦学习任务分发到边缘服务器及云服务器，进一步对通信资源与计算资源的合理分配获得多层学习过程的最小时延。利用该方法，可以让分布式的车联网设备参与到联邦学习中，通过移动边缘计算服务器的强大计算能力来弥补车联网设备计算资源有限的不足，从而获得更加精确的机器学习模型以及合理的通信资源、计算资源的分配方案，大大减小了传统联邦学习方法的时延。
Description
技术领域
本发明属于新一代信息技术中的无线通信网络应用领域，具体一种高效多层联邦学习设计方法。该发明可以应用于5G无线通信网络以及其它蜂窝通信网络中的传感设备联邦学习过程设计。
背景技术
在车联网、智慧城市、智能家居等现代物联网场景中，越来越多的智能设备可以应用人工智能算法来提供更加人性化的服务。传统的机器学习任务都在一个设备或一个中央节点上处理。例如，作为集中式机器学习方法之一，卷积神经网络通常用于通过使用足够的传感器数据(例如来自手机、相机、雷达等)进行训练来预测交通流量。然而，将所有数据发送到中央要训练的节点会给城市无线网络带来负担。联邦学习可以使每个带有传感器的设备都可以通过机器学习算法在本地训练数据，并将模型参数上传到中央节点进行聚合。这种传统的联邦学习方法通过结合不同类型设备的训练模型参数，显著降低了传输成本，并带来了更加精准的人工智能模型。
由于获得高精度的训练结果需要在本地节点和中心节点之间进行多次全局迭代，因此低延迟是联邦学习的关键性能。过去，很多研究都集中在通过调整学习机制来提高联邦学习的效率。然而，在智能车联网网络中，由于车联网设备的计算能力有限以及本地设备与远程数据中心之间的传输距离长，这些方法在训练时间预算下都存在训练精度低和学习性能下降的问题。为了解决这些问题，边缘计算被认为是一种很有前途的分布式计算范式，它允许将延迟敏感和计算密集型任务从分布式移动设备卸载到附近的边缘服务器。通过使用移动边缘服务器辅助联邦学习，利用边缘服务器的计算和存储能力使模型训练更接近车联网设备。
Dinh等人专注于通过解决由移动边缘服务器和多个用户组成的无线网络中用户数据的异构性来实现联合学习算法。(Dinh C T,Tran N H,Nguyen M N H,etal.Federated learning over wireless networks:Convergence analysis andresource allocation[J].IEEE/ACM Transactions on Networking,2020,29(1):398-409.)
Nishio等人设计了一种新的联邦学习协议，该协议有效地执行了FL，并允许移动边缘服务器聚合尽可能多的客户端更新并加速性能改进。(Nishio T,Yonetani R.Clientselection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019-2019IEEE international conference on communications(ICC).IEEE,2019:1-7.)
Zhou Zhi等人考虑了数据样本传输中的队列和调度策略，以最小化联邦边缘学习中通信和计算的总成本。(Z.Zhou,S.Yang,L.Pu and S.Yu,"CEFL:Online AdmissionControl,Data Scheduling,and Accuracy Tuning for Cost-Efficient FederatedLearning Across Edge Nodes,"in IEEE Internet of Things Journal,vol.7,no.10,pp.9341-9356,Oct.2020,doi:10.1109/JIOT.2020.2984332.)
Xiang Ma提出了一种新的调度策略和功率分配方案，以最大化在基于非正交多址(NOMA)的网络中卸载到边缘计算服务器的数据的总数据速率。(Ma X,Sun H,Hu RQ.Scheduling policy and power allocation for federated learning in NOMA basedMEC[C]//GLOBECOM 2020-2020IEEE Global Communications Conference.IEEE,2020:1-7.)
Qunsong Zeng等人设计了物联网设备和相关移动边缘服务器之间的带宽分配策略，以最大限度地减少联邦学习中设备的总能耗。(Zeng Q,Du Y,Huang K,et al.Energy-efficient radio resource allocation for federated edge learning[C]//2020IEEEInternational Conference on Communications Workshops(ICC Workshops).IEEE,2020:1-6.)
尽管上述工作考虑了移动边缘服务器辅助训练进入联邦学***台，以近距离卸载其本地数据并帮助训练大数据样本。此外，联邦学习需要分布式无线设备将模型参数上传到中心节点。中心节点将聚合这些参数以更新全局模型，然后反馈给分布式设备进行下一次迭代。云服务器是一种很有前途的解决方案，可以在多层学习架构中扮演中心节点的角色，因为它具有强大的计算能力来帮助训练和聚合。
本发明提出了一种无线局域网的移动边缘服务器辅助多层联邦学习方法，来实现车联网设备在联邦学习中的数据训练。该架构由多个移动边缘服务器和云服务器组成，可以辅助训练和计算。每个移动边缘服务器可以被视为一个分布式节点，用于训练从车联网设备卸载的数据样本，来自车联网设备的数据样本可以部分卸载到移动边缘服务器和云服务器进行联合训练，并将模型参数传输到中央云服务器进行聚合。由于移动边缘服务器允许将计算敏感和延迟敏感的任务从分布式车联网设备卸载到边缘服务器，因此它有可能降低训练延迟的性能，因为部分训练任务被转移到移动边缘服务器和云端。此外，由于联邦学习涉及分布式设备和聚合中心节点之间的学习模型交换，计算和通信资源的合理分配是影响学习效率和准确性的关键问题。因此提出了一个优化问题，通过联合优化计算和通信资源，包括数据卸载率的决策、移动边缘服务器中的计算资源分配和无线传输中的带宽分配，来最小化联邦训练的总延迟。
发明内容
为了解决上述传统联邦学习中的问题，本发明提供了一种边缘计算辅助的高效多层联邦学习方法。为达到上述目标，本发明设计了多层联邦学习方法以及合理的计算资源、通信资源分配方案。边缘计算辅助的多层联邦学习方法设计步骤如下：
步骤一：车联网设备将需要移动边缘服务器和云服务器辅助计算的数据集卸载到可接入的边缘计算服务器上。同时进行剩余数据集的训练，训练结束后，将训练结果参数发送给云服务器。
步骤二：边缘计算服务器接收到来自各个接入的设备训练数据集后，将需要云计算服务器辅助的数据集发送到云服务器，同时训练边缘服务器需要辅助的数据集。训练结束后，将训练结果参数发送给云服务器。
步骤三：云服务器接收到需要辅助训练的数据集后，开始训练。训练结束后，等待所有分布式节点的结果都上传到云服务器后进行合并聚合，并将全局训练结果参数返回给各个分布式计算节点。
步骤四：根据各层数据发送计算的通信参数以及计算参数，建立***数学模型，计算产生优化目标。优化目标为最小化各层计算结果到达云服务器的最大时延。优化变量包括卸载数据集大小选择，以及卸载到边缘计算服务器的带宽分配以及边缘计算服务器的计算资源分配。根据环境参数确定约束条件。
步骤五：将优化问题转化为二次约束二次规划(QCQP)问题形式。引入辅助变量，将目标函数简化为求解辅助变量最小值。
步骤六：将目标函数以及优化变量转换为矩阵表达式。并将约束条件逐一转换成线性矩阵表达式。由于得到的表达式仍然为非凸问题，我们引入新的矩阵变量并放松秩为1的条件，将优化问题转化为半正定规划问题。
步骤七：利用YALMIP求解器，将目标函数以及约束条件作为输入条件，输出包含优化变量的矩阵结果。将卸载比例分配、带宽分配以及计算资源分配等优化参数从输出的矩阵结果中恢复。
步骤八：将计算出的卸载比例分配、带宽分配以及计算资源分配参数结果导入总时延计算模型，产生边缘计算辅助的多层联邦学习资源分配方案。
进一步具体地，针对于发明内容的步骤一，假设共有M个边缘计算服务器，J个物联网设备，记为j∈J。物联网设备利用随机梯度下降方法进行本地模型参数训练，具体迭代过程可描述为
其中n为本地迭代次序，Lj为本地损失函数。最终设备层训练结果到达云服务器的最终时间为
包含在设备本地训练的时间
和训练结果上传到云端的时间
针对于发明内容的步骤二，边缘计算服务器同样利用随机梯度下降方法训练收到的来自接入设备卸载的数据集，最终边缘服务器层训练结果到达云服务器最终时间为
包含卸载到边缘计算服务器和云服务器的数据样本在无线网络中的传输时间
和数据样本在边缘服务器的计算时间
以及训练结果上传到云服务器的时间
针对于发明内容的步骤三，云服务器收到需要卸载的数据样本后进行训练，得到最后的训练结果所需要的时延为
其中还包含数据样本传输到边缘计算服务器的时间
数据样本从边缘计算服务器到云服务器的时间
以及数据样本在云服务器训练的时间
最终云服务器进行各层训练结果的合并与聚合
得到聚合结果向所有分布式车联网设备广播本轮训练结果。
针对于发明内容的步骤四，多层边缘计算服务器辅助联邦学习的总时延取决于各层中最后到达云服务器的时间，所以总时延
优化目标为
其中uj为卸载比例变量，fj，m为计算资源分配变量，Bj，m为通信带宽分配变量。
针对于发明内容的步骤五，引入辅助变量T来代替各层训练结果到达云服务器的时延最大值，即
优化目标函数变换为
针对于发明内容的步骤六，将优化变量转换为矩阵表达式
并将所有约束条件转化为矩阵表达式。为了将优化问题转换为QCQP形式，引入新的变量zj＝[wj，1]T。目标函数变换为
为求解变换后的非凸问题，定义
通过去掉Zj的秩为1的约束，进而得到
优化目标函数变换为
针对于发明内容的步骤七，利用求解器YALMIP计算得到变量Zj后，因为
并且zj(9)＝1，那么可以从Zj(9，i)＝zj(i)恢复出原始优化变量。
针对于发明内容的步骤八，将计算出的卸载比例变量、计算资源分配变量和带宽资源分配变量结果导入总时延计算模型，得到多层联邦学习的最小时延。
附图说明
图1为移动边缘计算辅助高效联邦学习方法设计图；
图2为多层联邦学习过程示意图；
图3为多层联邦学习时延表达示意图；
图4为多层联邦学习方法与传统联邦学习等方法在同样训练精度下时延对比图；
图5为多层联邦学习方法与传统联邦学习等方法在同样数据样本数量下时延对比图。
具体实施方式
参照图1至图5对本发明实施例做进一步说明。
为进一步阐述本发明所采取的技术手段和功效，以下说明中结合实例，对本发明中的具体实施方式，性能进行说明。
本实例中公布了一种移动边缘计算辅助高效联邦学习设计方法。附图中展示了本发明说明的实施例，通过本参照附图，来实现本发明的各个方面。以下的构思和实施方式可以采用任意的一种方式来实现，而不仅仅局限于以下所描述的实施方式。
本实例采用长度为1km的双向道路，车联网设备随机分布在其中，装备有边缘计算服务器的无线接入点均匀的分布在整条车道中。云服务器与边缘计算服务器之间利用高速光纤相连。联邦学习任务为图像识别数字。每个车联网设备随机产生10000到50000个数据样本。数据样本大小为2kbits。训练数据样本需要的CPU转数为104到3*104转。边缘计算服务器的计算能力为2GHz，云计算服务器的计算能力为10GHz。
每个无线接入点被分配的信道带宽为10MHz，车联网设备发送功率分布在20dBm到50dBm之间，噪声功率σ2为-50dBm。可以得到频率复用时辅助卸载的传输速率，用于计算传输时延
信道信息采用模型|hj，m|2＝gj，mdj，m -δ，其中gj，m为瑞利衰落参数，路径衰落模型为128.1+37.6log(dj，m)，dj，m是设备与边缘计算服务器之间的距离。
假设车联网设备在本地训练、边缘计算服务器上训练和云服务器上训练的数据比例为
将优化参数和已知的实验参数带入到各层训练时延表达式中，得出各层训练时延的函数表达式。
通过引入辅助参数将时延表达式代入训练时延约束，将优化参数和实验参数带入到边缘计算服务器计算资源约束和通信资源约束中。
得出各个约束的矩阵表达式，并进行QCQP问题形式的转换。引入新的变量zj＝[wj，1]T。目标函数变换为
为求解变换后的非凸问题，定义
通过去掉Zj的秩为1的约束，进而得到
将优化目标和约束矩阵表达式代入YALMIP求解器中，计算得到变量Zj后，因为
并且zj(9)＝1，那么可以从Zj(9，i)＝zj(i)恢复出原始优化变量。
将得到结果与原最优化问题结合，计算出总体时延性能，根据第二步随机生成训练任务信息，进行1000次计算求解，取平均，得到移动边缘计算辅助高效联邦学***均性能结果，记为Multi-layer FL scheme。
为了进行性能比较，我们考虑以下情况作为基准方案：
1)传统的联邦学习方案：所有数据样本都在本地设备上训练，参数在云服务器上聚合。
2)云辅助学习方案：数据样本既可以在设备上训练，也可以在云端训练。聚合将在云服务器上实现。
3)中心学习方案：所有数据样本都发送到云服务器进行训练，模型参数在云端聚合。分别记为Existing FL scheme，Cloud assisted learning scheme和Centrallearning scheme。
从图4中可以看出，随着对训练精度的要求增加，总时延增加，本方法优于传统的联邦学习方案和其它联邦学习方案，减小了训练学习时延。
在图5中，可以发现，随着训练数据样本数量的增加，总时延增加，本方法优于传统的联邦学习方案和其它联邦学习方案，减小了训练学习时延。
Claims (9)
1.一种移动边缘计算辅助的多层联邦学习方法，其特征在于多层学习架构和低延时资源分配方案，包括
步骤一：车联网设备将需要移动边缘服务器和云服务器辅助计算的数据集卸载到可接入的边缘计算服务器上，同时进行剩余数据集的训练，训练结束后，将训练结果参数发送给云服务器；
步骤二：边缘计算服务器接收到来自各个接入的设备训练数据集后，将需要云计算服务器辅助的数据集发送到云服务器，同时训练边缘服务器需要辅助的数据集；训练结束后，将训练结果参数发送给云服务器；
步骤三：云服务器接收到需要辅助训练的数据集后，开始训练；训练结束后，等待所有分布式节点的结果都上传到云服务器后进行合并聚合，并将全局训练结果参数返回给各个分布式计算节点；
步骤四：根据各层数据发送计算的通信参数以及计算参数，建立***数学模型，计算产生优化目标；优化目标为最小化各层计算结果到达云服务器的最大时延；优化变量包括卸载数据集大小选择，以及卸载到边缘计算服务器的带宽分配以及边缘计算服务器的计算资源分配；根据环境参数确定约束条件；
步骤五：将优化问题转化为二次约束二次规划(QCQP)问题形式；引入辅助变量，将目标函数简化为求解辅助变量最小值；
步骤六：将目标函数以及优化变量转换为矩阵表达式，并将约束条件逐一转换成线性矩阵表达式；由于得到的表达式仍然为非凸问题，我们引入新的矩阵变量并放松秩为1的条件，将优化问题转化为半正定规划问题；
步骤七：利用YALMIP求解器，将目标函数以及约束条件作为输入条件，输出包含优化变量的矩阵结果；将卸载比例分配、带宽分配以及计算资源分配等优化参数从输出的矩阵结果中恢复；
步骤八：将计算出的卸载比例分配、带宽分配以及计算资源分配参数结果导入总时延计算模型，产生边缘计算辅助的多层联邦学习资源分配方案。
2.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤一中，车联网设备利用随机梯度下降方法进行本地模型参数训练，具体迭代过程可描述为
其中n为本地迭代次序，Lj为本地损失函数；根据通信参数以及服务器计算参数设备层训练结果到达云服务器的最终时间，包含在设备本地训练的时间和训练结果上传到云端的时间。
3.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤二中，边缘计算服务器同样利用随机梯度下降方法训练收到的来自接入设备卸载的数据集，得到局部模型参数，计算最终边缘服务器层训练结果到达云服务器最终时间，包含卸载到边缘计算服务器和云服务器的数据样本在无线网络中的传输时间和数据样本在边缘服务器的计算时间以及训练结果上传到云服务器的时间。
4.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤三中，云服务器收到需要卸载的数据样本后进行训练，得到最后的训练结果所需要的时延，其中还包含数据样本传输到边缘计算服务器的时间，数据样本从边缘计算服务器到云服务器的时间以及数据样本在云服务器训练的时间；最终云服务器进行各层训练结果的合并与聚合
得到聚合结果向所有分布式车联网设备广播本轮训练结果。
5.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤四中，多层边缘计算服务器辅助联邦学习的总时延取决于各层中最后到达云服务器的时间，优化目标为最小化各层中最后到达云服务器的时间，需要计算的优化变量分别为卸载比例变量，计算资源分配变量，通信带宽分配变量。
6.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤五中，引入辅助变量T来代替各层训练结果到达云服务器的时延最大值，进一步求解优化函数。
7.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤六中，将优化变量转换为矩阵表达式wj，并将所有约束条件转化为矩阵表达式；为了将优化问题转换为QCQP形式，引入新的变量zj＝[wj，1]T；目标函数变换为
为求解变换后的非凸问题，定义
通过去掉Zj的秩为1的约束，进而得到
优化目标函数变换为
8.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤七中，利用求解器YALMIP计算得到变量Zj后，因为
并且zj(9)＝1，那么可以从Zj(9，i)＝zj(i)恢复出原始优化变量。
9.根据权利要求1所述的一种移动边缘计算辅助的多层联邦学习方法，其特征在于，步骤八中，将计算出的卸载比例变量、计算资源分配变量和带宽资源分配变量结果导入总时延计算模型，得到多层联邦学习的最小时延。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210367919.9A CN114745383A (zh) | 2022-04-08 | 2022-04-08 | 一种移动边缘计算辅助多层联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210367919.9A CN114745383A (zh) | 2022-04-08 | 2022-04-08 | 一种移动边缘计算辅助多层联邦学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114745383A true CN114745383A (zh) | 2022-07-12 |
Family
ID=82279106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210367919.9A Pending CN114745383A (zh) | 2022-04-08 | 2022-04-08 | 一种移动边缘计算辅助多层联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114745383A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080249A (zh) * | 2022-08-22 | 2022-09-20 | 南京可信区块链与算法经济研究院有限公司 | 一种基于联邦学习的车联网多维资源分配方法及*** |
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN116166406A (zh) * | 2023-04-25 | 2023-05-26 | 合肥工业大学智能制造技术研究院 | 个性化边缘卸载调度方法、模型训练方法和*** |
| CN116506829A (zh) * | 2023-04-25 | 2023-07-28 | 江南大学 | 基于c-v2x通信的联邦边缘学习选择车辆方法 |
| CN115983390B (zh) * | 2022-12-02 | 2023-09-26 | 上海科技大学 | 基于多天线空中计算的边缘智能推理方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220703A1 (en) * | 2019-03-28 | 2019-07-18 | Intel Corporation | Technologies for distributing iterative computations in heterogeneous computing environments |
| CN112052086A (zh) * | 2020-07-28 | 2020-12-08 | 西安交通大学 | 一种移动边缘计算网络中的多用户安全节能资源分配方法 |
| CN112232438A (zh) * | 2020-11-05 | 2021-01-15 | 华东理工大学 | 面向高维图像表示多核子空间学习框架 |
| CN113177645A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 联邦学习方法、装置、计算设备及存储介质 |
| CN113568727A (zh) * | 2021-07-23 | 2021-10-29 | 湖北工业大学 | 一种基于深度强化学习的移动边缘计算任务分配方法 |
| WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
| ZA202108982B (en) * | 2021-06-07 | 2022-02-23 | Univ Dalian Tech | Uncertainty-aware federated learning method and system in mobile edge computing network |
| CN114116198A (zh) * | 2021-10-21 | 2022-03-01 | 西安电子科技大学 | 一种移动车辆的异步联邦学习方法、***、设备及终端 |
| CN114143891A (zh) * | 2021-11-30 | 2022-03-04 | 南京工业大学 | 移动边缘网络中基于fdql的多维资源协同优化方法 |
-
2022
- 2022-04-08 CN CN202210367919.9A patent/CN114745383A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220703A1 (en) * | 2019-03-28 | 2019-07-18 | Intel Corporation | Technologies for distributing iterative computations in heterogeneous computing environments |
| WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
| CN112052086A (zh) * | 2020-07-28 | 2020-12-08 | 西安交通大学 | 一种移动边缘计算网络中的多用户安全节能资源分配方法 |
| CN112232438A (zh) * | 2020-11-05 | 2021-01-15 | 华东理工大学 | 面向高维图像表示多核子空间学习框架 |
| ZA202108982B (en) * | 2021-06-07 | 2022-02-23 | Univ Dalian Tech | Uncertainty-aware federated learning method and system in mobile edge computing network |
| CN113177645A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 联邦学习方法、装置、计算设备及存储介质 |
| CN113568727A (zh) * | 2021-07-23 | 2021-10-29 | 湖北工业大学 | 一种基于深度强化学习的移动边缘计算任务分配方法 |
| CN114116198A (zh) * | 2021-10-21 | 2022-03-01 | 西安电子科技大学 | 一种移动车辆的异步联邦学习方法、***、设备及终端 |
| CN114143891A (zh) * | 2021-11-30 | 2022-03-04 | 南京工业大学 | 移动边缘网络中基于fdql的多维资源协同优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许小龙、方子介、齐连永、窦万春、何强: ""车联网边缘计算环境下基于深度强化学习的分布式服务卸载方法"", 《计算机学报》, vol. 44, no. 12, 15 December 2021 (2021-12-15), pages 2382 - 2405 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278708A (zh) * | 2022-07-25 | 2022-11-01 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN115278708B (zh) * | 2022-07-25 | 2024-05-14 | 中国电子科技集团公司第五十四研究所 | 一种面向联邦学习的移动边缘计算资源管理方法 |
| CN115080249A (zh) * | 2022-08-22 | 2022-09-20 | 南京可信区块链与算法经济研究院有限公司 | 一种基于联邦学习的车联网多维资源分配方法及*** |
| CN115983390B (zh) * | 2022-12-02 | 2023-09-26 | 上海科技大学 | 基于多天线空中计算的边缘智能推理方法及*** |
| CN116166406A (zh) * | 2023-04-25 | 2023-05-26 | 合肥工业大学智能制造技术研究院 | 个性化边缘卸载调度方法、模型训练方法和*** |
| CN116506829A (zh) * | 2023-04-25 | 2023-07-28 | 江南大学 | 基于c-v2x通信的联邦边缘学习选择车辆方法 |
| CN116506829B (zh) * | 2023-04-25 | 2024-05-10 | 广东北斗烽火台卫星定位科技有限公司 | 基于c-v2x通信的联邦边缘学习选择车辆方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114745383A (zh) | 一种移动边缘计算辅助多层联邦学习方法 | |
| CN111010684B (zh) | 一种基于mec缓存服务的车联网资源分配方法 | |
| CN113537514B (zh) | 一种高能效的基于数字孪生的联邦学习框架 | |
| CN113904947B (zh) | 车路协同分布式边缘计算任务卸载与资源分配方法和*** | |
| CN110351754B (zh) | 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法 | |
| CN108495340B (zh) | 一种基于异构混合缓存的网络资源分配方法和装置 | |
| CN114051254B (zh) | 一种基于星地融合网络的绿色云边协同计算卸载方法 | |
| CN111915142B (zh) | 一种基于深度强化学习的无人机辅助资源分配方法 | |
| CN111339554A (zh) | 基于移动边缘计算的用户数据隐私保护方法 | |
| CN114422349B (zh) | 基于云边端协同的深度学习模型训练和推理架构部署方法 | |
| CN112650581A (zh) | 一种面向智能楼宇的云边协同任务调度方法 | |
| WO2024032121A1 (zh) | 一种基于云边端协同的深度学习模型推理加速方法 | |
| CN114650228B (zh) | 一种异构网络中基于计算卸载的联邦学习调度方法 | |
| CN113625751A (zh) | 面向空地一体联邦学习的无人机位置与资源联合优化方法 | |
| Li et al. | Joint optimization of computation cost and delay for task offloading in vehicular fog networks | |
| He et al. | Resource allocation based on digital twin-enabled federated learning framework in heterogeneous cellular network | |
| CN116455768A (zh) | 面向全局时延优化的云边端协同cnn推理方法及*** | |
| CN113747450B (zh) | 一种移动网络中业务部署方法、装置及电子设备 | |
| CN113988160A (zh) | 一种基于时效性的半异步分层联邦学习更新方法 | |
| CN111611069B (zh) | 多数据中心间多类型任务迁移方法 | |
| CN109874154B (zh) | 一种基于深度强化学习的c-ran用户关联和计算资源分配方法 | |
| CN116737391A (zh) | 一种联邦模式下基于混合策略的边缘计算协作方法 | |
| Yang et al. | A resource allocation method based on the core server in the collaborative space for mobile edge computing | |
| CN116347522A (zh) | 云边协同下基于近似计算复用的任务卸载方法及装置 | |
| CN112910716B (zh) | 一种基于分布式dnn的移动雾计算损耗联合优化***和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |