CN114265631B - 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 - Google Patents

Abstract

本发明公开了一种基于联邦元学习的移动边缘计算智能卸载方法及装置，云端服务器和边缘服务器具有结构相同的神经网络模型，边缘服务器从云端服务器下载所述神经网络模型的初始网络参数用于更新本地神经网络模型的网络参数，边缘服务器训练本地的神经网络模型，计算出损失值上传给云端服务器，云端服务器聚合所有接收到的损失值进行网络参数的更新，完成网络模型的训练，边缘服务器采用训练好的神经网络模型决定最优卸载策略。本发明在***露用户数据隐私的前提下，联合多个边缘服务器共同训练学习，得到泛化能力更强的神经网络模型，并实现边缘服务器个性化计算卸载应用。

Description

一种基于联邦元学习的移动边缘计算智能卸载方法及装置

技术领域

本申请属于移动边缘计算的计算卸载技术领域，具体涉及一种基于联邦元学习的移动边缘计算智能卸载方法及装置。

背景技术

随着物联网服务的快速发展，为移动应用带来了大量的资源需求(例如，实时互动在线游戏和增强/虚拟现实)。然而，由于传统的物联网设备的计算资源有限，导致在执行计算密集型的任务时，降低了体验质量(例如，长时间延迟)。同时传统的物联网设备对能耗比较敏感，所以在计算任务越来越繁重的时候，能耗问题成为一个重大的挑战。移动边缘计算(Mobile edge Computing,MEC)能将密集的计算任务从智能设备迁移到具有足够计算资源的附近边缘服务器，但使用边缘服务器也会产生相应的成本。

近年来，深度学习发展迅猛，在图像、语音、信号等领域遍地开花，这为基于深度学习的移动边缘卸载技术研究奠定了基础。目前监督学习将计算卸载问题建模为多标签分类问题，通过离线训练和线上部署深度神经网络，提升卸载决策的响应速度。监督学习算法需要预生成大量的训练数据，常用遍历搜索或者传统分析优化方法获得特定网络场景的最优决策。然而，当网络场景改变时，需要重新生成训练数据并训练深度神经网络，该方法不适用于动态的网络场景。其次，联邦学习可以有效解决移动边缘计算的数据隐私和数据孤岛问题。在计算卸载中采用联邦学习，计算任务的输入数据仅保存在授信的边缘服务器上，不会上传至云服务器，避免敏感私人信息外泄。同时，基于联邦学习的计算卸载还能有效降低通信带宽需求，减轻了远程云服务器的存储和计算负载，并降低模型更新相应延时。但是，基于联邦学习的全局模型无法满足不同无线设备多样的计算任务和QoS需求。

发明内容

本申请的目的是提供一种基于联邦元学习的移动边缘计算智能卸载方法及装置，以避免在动态变化的网络场景下，现有技术方案无法满足不同移动端的QoS需求问题。

为了实现上述目的，本申请技术方案如下：

一种基于联邦元学习的移动边缘计算智能卸载方法，应用于移动边缘计算***，所述移动边缘计算***包括云端服务器、边缘服务器和无线设备，所述云端服务器和边缘服务器具有结构相同的神经网络模型，所述基于联邦元学习的移动边缘计算智能卸载方法，包括：

步骤1、边缘服务器从云端服务器下载所述神经网络模型的初始网络参数用于更新本地神经网络模型的网络参数；

步骤2、边缘服务器获取第一批训练样本，训练本地的神经网络模型，更新本地的神经网络模型的网络参数，并在该网络参数下获取第二批训练样本，计算出对应的损失值；

步骤3、边缘服务器将损失值上传给云端服务器，云端服务器聚合所有接收到的损失值进行网络参数的更新；

步骤4、边缘服务器从云端服务器下载网络参数更新本地神经网络模型的网络参数，重复上述步骤2、3，直到神经网络模型收敛；

步骤5、边缘服务器采用训练好的神经网络模型决定最优卸载策略。

进一步的，所述训练样本包括无线信道增益和对应的最优卸载策略，其中所述最优卸载策略通过求解如下最小化任务完成加权总时延问题得到：

其约束条件为：

其中，为无线设备n的上下行传输总时延，/>表示无线设备n在边缘服务器执行计算任务所需要的时延，B_n表示无线设备n所占用的带宽，P_n表示设备的发送和接收功率，ω₀表示白噪声功率，C_n表示无线设备与边缘服务器之间的上下行传输速率；其中α_n,β_n,γ_n分别表示上行传输数据量大小、下行传输数据量大小及完成该计算任务需要的CPU运行周期数，h_n(t)表示无线设备n对应的无线信道增益；

x_n(t)表示无线设备n在时间帧t下的卸载策略，其中x_n(t)＝0表示无线设备在本地执行该计算任务，x_n(t)＝1则表示无线设备n的计算任务将会被整个卸载到边缘服务器，f₀表示无线设备每秒能执行的CPU周期数，f_n(t)表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的计算资源，w_n(t)表示在时间帧t下无线设备n的计算任务权重优先级，f_e表示边缘服务器在处理计算任务时每秒所能提供的最大CPU运行周期数；x_t＝{x_n(t)|n∈N}表示所有用户卸载决策的集合，同样的f_t＝{f_n(t)|n∈N}表示资源分配策略，h_t＝{h_n(t)|n∈N}表示所有无线设备信道增益的集合，w_t＝{w_n(t)|n∈N}表示所有无线设备的计算任务权重集合，N为无线设备的数量；

其中，为了使得加权总时延最小，计算资源分配问题建模如下：

约束条件为：

上述计算资源分配问题的最优解表示为：

其中，最优卸载策略表示为 表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的最优计算资源，/>表示最优资源分配策略。

进一步的，所述边缘服务器采用训练好的神经网络模型决定最优卸载策略，还包括：

在获得最优卸载策略后，进一步计算出计算资源分配策略。

进一步的，在遇到新的计算任务场景时，所述基于联邦元学习的移动边缘计算智能卸载方法，还包括：

边缘服务器从云端服务器载入网络参数；

边缘服务器根据新的计算任务场景生成新的训练样本，采用新的训练样本训练本地的神经网络模型，对网络参数进行微调。

进一步的，所述训练样本保存在边缘服务器本地。

本申请还提出了一种基于联邦元学习的移动边缘计算智能卸载装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现所述基于联邦元学习的移动边缘计算智能卸载方法的步骤。

本发明提供了一种基于联邦元学习的移动边缘计算智能卸载方法及装置，可以在***露用户数据隐私的前提下，联合多个边缘服务器共同训练学习，得到泛化能力更强的神经网络模型，并实现边缘服务器个性化计算卸载应用。具有如下有益效果：

1、本申请考虑了不同移动端的QoS需求，结合了MAML元学习思想，在了动态的变化的计算任务场景中，仍能取得较高的卸载效率。

2、本申请解决了移动边缘计算的用户隐私保护问题，进一步提升基于深度学习的在线计算卸载算法的实用性。

3、本申请适用于多种移动边缘计算任务场景，具有一定的普适性，只要能将原优化目标分解为0-1整数规划子问题和连续变量资源优化子问题，都可以应用于该技术方案。

附图说明

图1为移动边缘计算***结构示意图；

图2为本申请基于联邦元学习的移动边缘计算智能卸载方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请的总体思路，首先利用联邦学习的分布式模型架构来保护不同边缘服务器之间的用户数据隐私；其次，考虑到移动端不同的QoS需求以及动态变化的计算任务场景，结合了MAML元学习思想，每个边缘服务端不止于简单的复制运行云端共享模型，可以进一步个性化微调本地网络模型。实验结果证实了本申请技术方案的可行性和有效性。

本申请提供的一种基于联邦元学习的移动边缘计算智能卸载方法，可以应用于如图1所示的应用环境中。移动边缘计算***(Mobile edge computing,MEC)，具有N个具有计算任务的无线设备(WD)和K个配备边缘服务器的基站和一个云端服务器，并假定云端服务器有足够的计算资源，且忽略边缘服务器与云端服务器之间的时延。其中，无线设备与边缘服务器之间的信道状态采用时变的无线信道增益h_t。定义神经网络模型，在整个训练过程中云端网络模型结构与边缘服务器模型结构一致。

在一个实施例中，如图2所示，提出了一种基于联邦元学习的移动边缘计算智能卸载方法，应用于移动边缘计算***，所述移动边缘计算***包括云端服务器、边缘服务器和无线设备，云端服务器和边缘服务器具有结构相同的神经网络模型，所述基于联邦元学习的移动边缘计算智能卸载方法，包括：

步骤S1、边缘服务器从云端服务器下载所述神经网络模型的初始网络参数用于更新本地神经网络模型的网络参数。

本实施例每个边缘服务器的用户数据仅安全保存在该服务器，既不发送给云端也不与其它边缘服务器共享。云端服务器负责训练维护一个共享网络模型，且与边缘服务器交互模型参数。边缘服务器具有同样的神经网络模型。本申请神经网络模型由4层全连接层构成，并初始化云端服务器神经网络模型的网络参数为θ。

边缘服务器B_k,k∈{1,2,...,K}，从云端服务器上下载云端网络参数复制并更新边缘服务器神经网络模型的网络参数，即边缘服务器的网络参数θ_k＝θ。

步骤S2、边缘服务器获取第一批训练样本，训练本地的神经网络模型，更新本地的神经网络模型的网络参数，并在该网络参数下获取第二批训练样本，计算出对应的损失值。

边缘服务器B_k,k∈{1,2,...,K}从其边缘端数据库中抽取训练样本对其中h_t是时变无线信道增益，/>是对应的最优卸载策略。

即训练样本包括无线信道增益和对应的最优卸载策略。而无线信道增益可以根据无线设备与边缘服务器之间的距离来进行计算，这是本领域比较成熟的技术，这里不再赘述。训练样本的生成，通常需要在获取无线信道增益后，为该样本打上标签，即计算出该无线信道增益对应的最优卸载策略。

移动边缘计算智能卸载，就是寻找最小化任务完成时延的最优卸载方案。本申请根据无线设备(WD)有限的传输资源与计算资源，推导出传输时延以及计算资源约束，***效用函数定义为所有计算任务的加权时延Q，优化目标是最小化所有计算任务的加权时延。本申请将最小化任务完成时延问题描述为：

其约束条件为：

其中，为无线设备n的上下行传输总时延，/>表示无线设备n在边缘服务器执行计算任务所需要的时延，B_n表示无线设备n所占用的带宽，P_n表示设备的发送和接收功率，ω₀表示白噪声功率，C_n表示无线设备与边缘服务器之间的上下行传输速率；其中α_n,β_n,γ_n分别表示上行传输数据量大小、下行传输数据量大小及完成该计算任务需要的CPU运行周期数，h_n(t)表示无线设备n对应的无线信道增益。

x_n(t)表示无线设备n在时间帧t下的卸载策略，其中x_n(t)＝0表示无线设备在本地执行该计算任务，x_n(t)＝1则表示无线设备n的计算任务将会被整个卸载到边缘服务器，f₀表示无线设备每秒能执行的CPU周期数，f_n(t)表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的计算资源，w_n(t)表示在时间帧t下无线设备n的计算任务权重优先级，f_e表示(单位：周期/秒)边缘服务器在处理计算任务时每秒所能提供的最大CPU运行周期数。式中的x_t＝{x_n(t)|n∈N}表示所有用户卸载决策的集合，同样的f_t＝{f_n(t)|n∈N}表示资源分配策略，h_t＝{h_n(t)|n∈N}表示所有无线设备信道增益的集合，w_t＝{w_n(t)|n∈N}表示所有无线设备的计算任务权重集合。N为无线设备的数量。

对于上述数学模型，设计一种分层的优化算法，得出了最小化任务完成时延的最优卸载方案。首先将原优化目标分解为0-1整数规划子问题和连续变量资源优化子问题，其中，0-1整数规划子问题应用所提的智能卸载方法进行求解，在得到卸载决策后，利用KKT条件对连续变量资源优化子问题进行求解并输出最优结果。

本申请在为样本打上标签时，通过一维搜索算法遍历所有的卸载决策，并将其代入到最小化任务完成时延问题公式(1)，并利用如下公式(5)-(8)得到每个无线设备的资源分配f_n(t)，从而推断出最优的卸载决策。当卸载决策被唯一确定时，则可根据所有被上传至边缘服务器的计算任务权重分配边缘服务器的计算资源。

为了使得加权总时延最小，计算资源分配问题可建模如下：

约束条件为：

在上述优化问题中，目标函数的二阶导数在其定义域上恒大于零，故该目标函数为凸函数，又因为其定义域为凸集，所以可通过KKT(Karush-Kuhn-Tucker)条件来求解该凸优化问题。即该连续变量子问题可通过以下公式获得最优解：

最终，根据求得的最优卸载策略和资源分配方案/>可得到整个边缘计算***的加权总时延，此时加权总时延最小。其中卸载策略/>和资源分配方案/>分别表示所有用户的最优卸载策略以及资源分配策略。/>表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的最优计算资源。

通过上述方法生成训练样本后，边缘服务器B_k,k∈{1,2,...,K}使用训练集中的数据对进行训练，通过梯度下降法更新边缘服务器的网络参数：

其中α是超参数，是边缘服务器网络模型的参数化表达式，/>是其损失函数，表示网络参数θ_k的梯度。

本实施例边缘服务器网络模型的损失函数(E_loss)，具体为L2损失；

L2损失即输出卸载决策与目标卸载决策x_t的差值的2范数的平方。并定义模型优化器，采用Adam优化器和固定学习率来优化神经网络模型的参数。

边缘服务器网络参数更新至θ_k′后，边缘服务器B_k,k∈{1,2,...,K}从其边缘端数据库中抽取一批新的训练样本对并计算该样本下损失

步骤S3、边缘服务器将损失值上传给云端服务器，云端服务器聚合所有接收到的损失值进行网络参数的更新。

云端服务器聚合所有接收到的损失值进行网络参数θ更新，云端网络模型通过累加损失进行梯度运算，并更新其参数如下：

其中，β是超参数，是边缘端网络模型的参数化表达式，/>是其损失函数，▽_θ表示网络参数θ的梯度。

步骤S4、边缘服务器从云端服务器下载网络参数更新本地神经网络模型的网络参数，重复上述步骤S2、S3，直到神经网络模型收敛。

云端服务器网络参数更新后，边缘服务器从云端服务器下载网络参数更新本地神经网络模型的网络参数。然后采用本地其他训练样本重复上述步骤S2和S3，直至模型收敛。本申请当计算的损失值不再变化，则认为模型收敛。

如图1所示，步骤①表示从云端返回通用网络参数，步骤②表示云端聚合更新网络参数，步骤③表示更新边缘服务器网络参数，步骤④表示边缘服务器计算损失值，步骤⑤向云端发送损失值。

步骤S5、边缘服务器采用训练好的神经网络模型决定最优卸载策略。

在训练完成后，边缘服务器采用训练好的神经网络模型来预测下一个时间帧所采用的卸载策略，根据预测的卸载策略来执行，以获得较小的时延。

本申请使用了基于深度学习的方法，首先利用神经网络来学习从无线信道增益h_t到最优卸载策略之间的映射关系π：

借助训练完成的神经网络模型，更高效地预测不同信道条件下的最优卸载策略在获得最优卸载策略后，采用上述公式(5)-(8)得到相应的计算资源分配策略，并且可以计算出整个边缘计算网络的加权总时延，这里不再赘述。

在一个实施例中，本申请在遇到新的计算任务场景时，所述基于联邦元学习的移动边缘计算智能卸载方法，还包括：

边缘服务器从云端服务器载入网络参数；

边缘服务器根据新的计算任务场景生成新的训练样本，采用新的训练样本训练本地的神经网络模型，对网络参数进行微调。

具体的，本地边缘服务器通过载入云端网络模型参数后，根据前述的方法生成新的训练样本，在新的训练样本下，本地边缘服务器只通过几步微调训练就能快速适应新的任务场景，即得到相应的卸载决策x′_t和计算资源分配策略f′_t，以满足不同的无线设备的计算QoS需求。

在一个实施例中，本申请还提供了一种基于联邦元学习的移动边缘计算智能卸载装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于联邦元学习的移动边缘计算智能卸载方法的步骤。

关于基于联邦元学习的移动边缘计算智能卸载装置的具体限定可以参见上文中对于基于联邦元学习的移动边缘计算智能卸载方法的限定，在此不再赘述。上述基于联邦元学习的移动边缘计算智能卸载装置可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上对应的操作。

存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。

其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。

所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于联邦元学习的移动边缘计算智能卸载方法，应用于移动边缘计算***，所述移动边缘计算***包括云端服务器、边缘服务器和无线设备，其特征在于，所述云端服务器和边缘服务器具有结构相同的神经网络模型，所述基于联邦元学习的移动边缘计算智能卸载方法，包括：

步骤1、边缘服务器从云端服务器下载所述神经网络模型的初始网络参数用于更新本地神经网络模型的网络参数；

步骤2、边缘服务器获取第一批训练样本，训练本地的神经网络模型，更新本地的神经网络模型的网络参数，并在该网络参数下获取第二批训练样本，计算出对应的损失值；

步骤3、边缘服务器将损失值上传给云端服务器，云端服务器聚合所有接收到的损失值进行网络参数的更新；

步骤4、边缘服务器从云端服务器下载网络参数更新本地神经网络模型的网络参数，重复上述步骤2、3，直到神经网络模型收敛；

步骤5、边缘服务器采用训练好的神经网络模型决定最优卸载策略；

其中，所述训练样本包括无线信道增益和对应的最优卸载策略，其中所述最优卸载策略通过求解如下最小化任务完成加权总时延问题得到：

其约束条件为：

其中，为无线设备n的上下行传输总时延，/>表示无线设备n在边缘服务器执行计算任务所需要的时延，B_n表示无线设备n所占用的带宽，P_n表示设备的发送和接收功率，ω₀表示白噪声功率，C_n表示无线设备与边缘服务器之间的上下行传输速率；其中α_n,β_n,γ_n分别表示上行传输数据量大小、下行传输数据量大小及完成该计算任务需要的CPU运行周期数，h_n(t)表示无线设备n对应的无线信道增益；

x_n(t)表示无线设备n在时间帧t下的卸载策略，其中x_n(t)＝0表示无线设备在本地执行该计算任务，x_n(t)＝1则表示无线设备n的计算任务将会被整个卸载到边缘服务器，f₀表示无线设备每秒能执行的CPU周期数，f_n(t)表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的计算资源，w_n(t)表示在时间帧t下无线设备n的计算任务权重优先级，f_e表示边缘服务器在处理计算任务时每秒所能提供的最大CPU运行周期数；x_t＝{x_n(t)|n∈N}表示所有用户卸载决策的集合，同样的f_t＝{f_n(t)|n∈N}表示资源分配策略，h_t＝{h_n(t)|n∈N}表示所有无线设备信道增益的集合，w_t＝{w_n(t)|n∈N}表示所有无线设备的计算任务权重集合，N为无线设备的数量；

其中，为了使得加权总时延最小，计算资源分配问题建模如下：

约束条件为：

上述计算资源分配问题的最优解表示为：

其中，最优卸载策略表示为 表示在时间帧t下边缘服务器给无线设备n的计算任务所分配的最优计算资源，/>表示最优资源分配策略。

2.根据权利要求1所述的基于联邦元学习的移动边缘计算智能卸载方法，其特征在于，所述边缘服务器采用训练好的神经网络模型决定最优卸载策略，还包括：

在获得最优卸载策略后，进一步计算出计算资源分配策略。

3.根据权利要求1所述的基于联邦元学习的移动边缘计算智能卸载方法，其特征在于，在遇到新的计算任务场景时，所述基于联邦元学习的移动边缘计算智能卸载方法，还包括：

边缘服务器从云端服务器载入网络参数；

边缘服务器根据新的计算任务场景生成新的训练样本，采用新的训练样本训练本地的神经网络模型，对网络参数进行微调。

4.根据权利要求1所述的基于联邦元学习的移动边缘计算智能卸载方法，其特征在于，所述训练样本保存在边缘服务器本地。

5.一种基于联邦元学习的移动边缘计算智能卸载装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求4中任意一项所述方法的步骤。