CN113950066B - 移动边缘环境下单服务器部分计算卸载方法、***、设备 - Google Patents

移动边缘环境下单服务器部分计算卸载方法、***、设备 Download PDF

Info

Publication number
CN113950066B
CN113950066B CN202111060966.0A CN202111060966A CN113950066B CN 113950066 B CN113950066 B CN 113950066B CN 202111060966 A CN202111060966 A CN 202111060966A CN 113950066 B CN113950066 B CN 113950066B
Authority
CN
China
Prior art keywords
task
user terminal
unloading
server
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111060966.0A
Other languages
English (en)
Other versions
CN113950066A (zh
Inventor
安玲玲
张星雨
廖鹏
单颖欣
岳佳豪
马晓亮
王泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111060966.0A priority Critical patent/CN113950066B/zh
Publication of CN113950066A publication Critical patent/CN113950066A/zh
Application granted granted Critical
Publication of CN113950066B publication Critical patent/CN113950066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/20—Negotiating bandwidth
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于移动边缘计算的任务卸载与资源分配技术领域，公开了一种移动边缘环境下单服务器部分计算卸载方法、***、设备，所述移动边缘环境下单服务器部分计算卸载方法包括：构建单个基站、多用户终端单MEC服务器场景，设计网络通信模型，依托基站上行链路将各用户任务输入数据发送到MEC服务器；搭建本地处理与边缘卸载并行任务执行模块，依托网络通信时延与任务执行能耗来对单小区多移动用户场景下MEC***总成本进行问题规划，利用深度确定性梯度算法对时延和能耗进行联合优化。本发明能够在每一时间片动态地为每一用户做出合理的任务卸载决策和分配带宽及计算资源，实现有效降低了任务处理总时延和移动设备总能耗两方面的加权成本。

Description

移动边缘环境下单服务器部分计算卸载方法、***、设备
技术领域
本发明属于移动边缘计算的任务卸载与资源分配技术领域，尤其涉及一种移动边缘环境下单服务器部分计算卸载方法、***、设备。
背景技术
目前，物联网技术的不断普及和移动通信领域的光速发展，大量智能化移动设备应运而生，海量的智能设备及应用大多产生大量计算密集型任务，导致了爆发式增长的数据流量，给移动终端设备的数据计算能力和电池续航能力都带来了更高的要求。移动边缘计算技术(Mobile Edge Computation,MEC)能够使得终端设备以低延迟和低能耗的方式完成计算任务，移动用户将任务卸载到边缘基站处理，利用边缘服务器计算能力和能量储备可以有效降低本地设备的时延和能耗。边缘计算的基本思想是将移动设备上产生的计算任务从卸载到云端转变为卸载到网络边缘端,从而满足实时在线游戏、增强现实等计算密集型应用对低延迟的要求。不同的任务卸载方案对任务完成时延和移动设备能耗都有着较大的影响。因此，如何根据终端设备及周围环境因素做出最合理的任务卸载决策以及资源分配方案则是如今计算卸载框架研究中亟需解决的一个难题，大量基于不同算法和优化目标的任务卸载策略也就此被提出。根据算法的优化目标，计算卸载策略可分为以下三种：
第一类策略主要是降低任务处理延迟。Bi和Zhang等人在“Computation RateMaximization for Wireless Powered Mobile-Edge Computing with BinaryComputation Offloading”(IEEE Transactions on Wireless Communications,2018,17(6)：4177-4190)中考虑了由无线功率传输支持的多用户MEC***，研究了多用户MEC网络中的二进制计算卸载策略，利用交替方向乘子算法来解决每个时间范围内所有无线设备的计算速率加权和最大化问题这类方法的不足之处是：未能考虑在进行计算卸载时移动终端设备一端的能耗，终端设备可能出现由于电能不足使得卸载策略无法正常运行的情况，移动设备在计算资源方面受到限制,通常以高等待时间和高设备能耗为代价来处理数据。
第二类策略主要是减少设备能耗。Kuang和Shi等人在“Multi-User OffloadingGame Strategy in OFDMAMobile Cloud Computing System”(IEEE Transactions onVehicular Technology,2019,68(12):12190-12201)中提出了一种卸载博弈机制，采用博弈论方法在正交频分多址通信***中通过为每个设备卸载任务来达到节省能源的需求。该类方法的不足之处是：移动设备需要负责处理越来越多的计算密集型任务，如高清视频直播和面部识别等。然而，由于有限的计算资源和电池续航能力，这些设备可能无法以低延迟在本地处理所有任务。
第三类策略主要是时延与能耗折中。T.Alfakih和M.Hassan等人“TaskOffloading and Resource Allocation for Mobile Edge Computing by DeepReinforcement Learning Based on SARSA”(IEEEAccess,2020,8:54074-54084)考虑包含多个接入点、边缘服务器和移动设备的***架构以及任务可留在本地设备执行，也可向服务器或远程云进行卸载计算的应用场景，设计了一种基于强化学习中SARSA算法的卸载决策和资源管理方案，以降低***在能耗和计算延迟方面的成本。该类方法的不足之处是：实际的卸载过程中不同的***可能存在不同的性能需求而非仅仅局限于时延和能耗，如何根据终端设备及周围环境因素做出最合理的任务卸载决策以及资源分配方案则是如今计算卸载框架研究中亟需解决的一个难题。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有降低任务处理延迟的计算卸载策略中，未能考虑在进行计算卸载时移动终端设备一端的能耗，导致模型任务执行总时延较长，移动设备总能耗较高。
(2)现有减少设备能耗的计算卸载策略中，用户更希望***的时间消耗和能源消耗总和能达到最小来降低***的整体消耗，或者对时间消耗和能源消耗进行权衡。
(3)现有时延与能耗折中的计算卸载策略中，在实际的卸载过程中不同的***可能存在不同的性能需求而非仅仅局限于时延和能耗。
解决以上问题及缺陷的难度为：在任务数据传输过程中需要足够的无线网络带宽，而边缘服务器也具有有限的计算资源，因此根据终端设备及周围环境因素做出最合理的任务卸载决策以及资源分配方案则是如今计算卸载框架研究中亟需解决的一个难题。设备资源受限于高性能任务处理需求之间的冲突，但随着任务卸载规模的不断增加，执行任务所产生的功耗急剧上升，严重影响了MEC***的收益。
解决以上问题及缺陷的意义为：在多移动设备单个MEC服务器更加复杂的环境下，迫切需要一种以任务执行总时延和移动设备总能耗为共同优化指标的部分计算卸载方案。
发明内容
针对现有技术存在的问题，本发明提供了一种移动边缘环境下单服务器部分计算卸载方法、***、设备。
本发明是这样实现的，一种移动边缘环境下单服务器部分计算卸载方法，所述移动边缘环境下单服务器部分计算卸载方法包括以下步骤：
步骤一，构建单个基站、多用户终端单MEC服务器的应用场景，实现对移动终端任务的卸载决策；
步骤二，设计网络通信模型，通过基站上行链路将各用户任务输入数据发送到MEC服务器，对网络带宽资源做出合理分配；
步骤三，搭建本地处理与边缘卸载并行任务执行模块，提高应用服务反馈效率；
步骤四，依托网络通信时延与任务执行能耗进行目标建模，实现单基站多用户场景下MEC***总成本的问题规划；
步骤五，利用深度确定性策略梯度方法动态优化任务卸载与资源分配策略，基于时延与能耗实现整体性能优化。
进一步，所述步骤一中，构建多终端用户单MEC服务器应用场景包括以下步骤：
1)小区多个移动用户的单MEC场景建模，构建由单个基站、多个用户终端和一台公用高性能MEC服务器组成的***网络架构，将移动设备的序号表示为：
N＝{1,2,...}
且每个用户设备n会生成一个可分割的计算密集型任务：
Figure GDA0003862356550000041
其中，Dn表示任务An的上传数据量大小，Ln代表执行计算任务An所需要的计算资源数量，
Figure GDA0003862356550000042
为处理任务An可容忍的最长时间延迟要求；
2)计算卸载决策向量，用户设备n上任务An卸载到MEC服务器上的执行比率表示为xn＝[0,1],n∈N，则本地设备n上执行任务比例为1-xn，子任务本地执行与MEC服务器计算卸载两部分操作采取并行的方式执行，降低任务的总处理时延，提高服务响应时间；
所有用户任务的最终计算卸载决策向量x可表示为：
x＝{x1，x2，...，x|N|}；
3)设置等待执行任务缓存队列，假设将整个MEC***时间划分为若干个时长均为τ0的时间片，并针对移动用户资源有限的问题为每一用户终端n设置一个以先进先出顺序执行的等待执行任务缓存队列In，Kn为队列In上要执行的任务计算总量，每当新的时间片t+1开始，移动终端n待执行任务计算总量Kn的动态更新公式为：
Figure GDA0003862356550000043
其中，Kn(t+1)为第t+1个时间片移动终端n缓存队列上的待执行任务量，xn(t)是在时间片t内第n个用户终端上指示任务An(t)本地处理或边缘卸载的决策变量，Ln(t)为执行任务An(t)所需计算资源量，
Figure GDA0003862356550000044
表示第t个时间片内移动用户n本地执行任务量；
4)解决数据传输和计算问题，针对服务器端任务卸载时的数据传输和计算问题，先通过基站将各移动用户相关任务信息转发到MEC服务器，再由MEC服务器分配相应的计算资源执行任务，本模型还需考虑带宽和计算两类资源的实时分配方案。
进一步，所述步骤二中，网络通信模型的设计包括以下步骤：
定义基站的上行网络带宽资源为固定值W，小区内的所有移动用户需要共享基站的带宽资源，在每一时间片应为***做出合理的网络带宽资源分配决策B＝{B1，B2，...，B|N|}；令基站在时间片t分配给移动用户的带宽资源比例为Bn，Bn∈[0,1]，且满足
Figure GDA0003862356550000051
则根据Shannon公式，当小区内多个终端同时向MEC服务器卸载任务时，用户n与服务器间的上行链路任务传输速率rn可表示为：
Figure GDA0003862356550000052
其中，Pn为第n个用户设备的传输功率，且gn表示时间片t上用户n与基站之间的无线传输信道增益，N0是白高斯信道噪声的功率谱密度。
进一步，所述步骤三中，并行任务执行模型的构建包括以下步骤：
计算卸载模型分类，根据任务卸载决策x＝{x1，x2，...，x|N|}，每个移动终端可在本地处理其任务，也可将任务卸载一部分到MEC服务器上执行；将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，减少任务处理时延，提高服务反馈时间；
本地执行模型，本地执行模型由移动设备通过自身计算能力来处理任务数据并得到执行结果，主要涉及本地执行时延
Figure GDA0003862356550000053
和设备执行能耗
Figure GDA0003862356550000054
两部分开销；将第n个移动终端的本地CPU计算频率定义为
Figure GDA0003862356550000055
则任务本地执行部分的计算延迟
Figure GDA0003862356550000056
可表示为：
Figure GDA0003862356550000057
其中，(1-xn)Ln为任务An本地执行部分所需CPU周期数；此外，对于每个用户终端来说，本地处理的子任务还应考虑当前时间片本地等待被执行任务缓存队列上的等待时间
Figure GDA0003862356550000061
Figure GDA0003862356550000062
因此，第n个用户终端本地处理子任务的总时延定义为：
Figure GDA0003862356550000063
边缘卸载模型，边缘服务器端处理子任务一般来说需要分为三个步骤；首先移动用户通过无线链路传输任务相关数据至基站；当基站将移动用户n卸载的子任务转发给MEC服务器时，MEC服务器将为其分配计算资源，计算资源分配决策表示为：
F＝{F1,F2,...,Fn,...,F|N|}；
且满足条件
Figure GDA0003862356550000064
最后，MEC服务器将执行结果反馈给移动设备，由于任务执行结果的回传数据量往往非常小，远远低于上传的任务数据，而无线网络的回传速率也极快，因此忽略将任务结果回传至用户的时间延迟和能量消耗成本；在第n个用户终端向基站传输卸载任务数据的过程中，所需的传输时间延迟
Figure GDA0003862356550000065
定义为：
Figure GDA0003862356550000066
相应的卸载数据xnDn在传输过程中的能量消耗为：
Figure GDA0003862356550000067
其中，Pn为第n个移动用户的上行传输功率；数据传输完成后，任务An的卸载部分在边缘服务器上的计算时间为：
Figure GDA0003862356550000068
其中，Fn为MEC服务器分配给第n个移动用户的计算资源比例，fC为MEC服务器的CPU计算能力；卸载到MEC服务器端的任务处理总时延即为任务传输时延和执行时延之和，表示如下：
Figure GDA0003862356550000071
综上所述，对于时间片t来说，由于本MEC***中用户本地与服务器端可并行执行任务，因此小区中移动用户n的任务An总处理时延为：
Figure GDA0003862356550000072
完成任务An需要的能量消耗总成本为：
Figure GDA0003862356550000073
进一步，所述步骤四中，MEC***总成本问题规划包括以下步骤：
针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和能量消耗的加权因子ω1与ω2，用于根据用户特定偏好来调整时间和能耗成本的权重比例，且ω1+ω2＝1，并将目标函数制定如下：
Figure GDA0003862356550000074
如上式所示，根据任务执行模型，
Figure GDA0003862356550000075
和
Figure GDA0003862356550000076
分别为t时间片下采用任务卸载决策x＝{x1，x2，...，x|N|}和带宽以及计算资源分配策略B＝{B1,B2,...,Bn,...,B|N|}及F＝{F1,F2,...,Fn,...,F|N|}的任务处理时延与能耗；对
Figure GDA0003862356550000077
求最大值旨在尽可能降低任务An的反馈时间和本地移动设备能耗的加权和，实现整个MEC***模型的效用最大化；
C1～C3中的约束条件分别表示为小区内所有移动用户分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间
Figure GDA0003862356550000081
而C5和C6保证了采用本计算卸载方案所需的时间和能耗成本不大于全部本地执行的时间延迟和能量消耗。
进一步，所述步骤五中，时延和能耗的联合优化包括以下步骤：
基于当前状态给出下一步的动作决策，利用四元组M＝(S,As,Pss',a,Rs,a)来描述这一过程；
其中，S是一个有限的状态集合，而A则为有限的动作集合，s则是当前时间片下的***状态且s∈S，s'为***的下一个状态且s'∈S，a为选取的动作且a∈A，Pss',a表示执行动作a时，由当前状态s向下一新状态s'转移的概率，Rs,a为执行动作a后经状态s转换为s'获得的即时直接奖励；
此外，使用折扣因子γ∈[0,1]来衡量未来时间片的状态所具有的奖励值，即基于靠后时间片状态采取的动作对总体奖励值的影响会逐步衰减，并将马尔可夫决策过程中在时间片t上选取一组动作得到的全部奖励值加权总和G(t)描述为：
Figure GDA0003862356550000082
其中，γiR(t+i+1)为时间片t+i+1得到的奖励在时间片t上的价值表现；
函数三要素设计，以***模型为基础，根据多终端用户单MEC服务器应用场景将状态、动作以及奖励函数分别设计如下：
状态：状态空间首先要确保能够包含环境中的全部信息，充分体现环境在每一时间片的变化；因此将本***状态定义为：
Figure GDA0003862356550000083
***状态由当前时间片t上小区中移动用户到达任务的数据量D(t)、所需计算资源数L(t)、任务缓存队列上待执行任务量K(t)以及移动用户和服务器之间的数据传输速率r(t)四个部分构成；
动作：根据状态s(t)中每一时间片上用户新到达任务的数据量D(t)、所需计算资源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例决策x(t)、每一移动用户分配的带宽资源比率B(t)及服务器计算资源分配比率F(t)，即：
a(t)＝[x1(t),x2(t),...,x|N|(t),B1(t),B2(t),...,B|N|(t),F1(t),F2(t),...,F|N|(t)]；
奖励函数：将时间片t上***得到的瞬时奖励回报设置为公式中的目标函数值，即
Figure GDA0003862356550000091
执行动作a(t)得到的回报R(t)越大，则表明当前时间片t所有用户任务执行的时间成本
Figure GDA0003862356550000092
和能耗成本
Figure GDA0003862356550000093
加权和越小；
深度确定性策略梯度(DDPG)算法进行优化，利用深度确定性策略梯度算法动态地求解每一时间片下的任务卸载决策与资源分配方案，以实现目标函数的最小化，降低时延和能耗的加权总成本；
深度确定性策略梯度网络结构，DDPG网络结构中有Actor和Critic两个模块，并包含着四个神经网络，分别是Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络；
其中，Actor网络模块用于选取动作并交给智能体Agent执行此动作，而Critic模块则用于根据状态s(t)和动作a(t)对进行Q值评估；经验回放单元存储着与环境交互获得的状态转换数据样本，用于后期采样；
深度确定性策略梯度算法目标函数，DDPG算法中Critic模块的目标函数是一个时序差分TD-error，用来表示当前动作与预期的差异，且将Critic网络的损失函数定义为TD-error的平方：
Figure GDA0003862356550000094
其中，m是从经验回放单元中随机抽取的状态转换样本{s(t),a(t),R(t),s(t+1)}的数量，R(t)为时间片t上执行动作a(t)得到的奖励，Q'(s(t+1),a(t+1),θQ')则表示由Critic目标网络给出的下一时间片t+1上状态s(t+1)和动作a(t+1)对的评估值，θQ、θQ'分别为当前和目标网络的权重参数，Q(s(t),a(t),θQ)则为通过Critic当前网络得到的对于当前时刻t对应状态s(t)和动作a(t)的价值评判，γ是折扣因子；
DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择一个能够使评估价值尽可能最大的动作a(t)＝μ(s(t),θμ)，其损失函数为：
Figure GDA0003862356550000101
其中，θμ为Actor当前网络的权重参数；
基于DDPG的多用户单服务器联合任务卸载与资源分配步骤如下：
①输入任务请求集合{A1,A2,...,A|N|}、上行网络带宽W和MEC服务器计算能力fC，初始化经验回放单元M，同时随机初始化Actor当前网络μ(s(t),θμ)和Critic当前网络Q(s(t),a(t),θQ)的权重θμ和θQ；
②随机初始m个状态转换数据用于动作action探测，接收初始状态s(0)；
③根据当前策略和探测噪声循环遍历生成动作a(t)＝μ(s(t),θμ)+noise(t)；
④执行动作a(t)的卸载决策和资源分配并得到回报R(t)和下一时间片的状态s(t+1)；
⑤从经验回放单元M中随机选取m个状态转换元组{s(t),a(t),R(t),s(t+1)}；
⑥基于损失函数，使用软更新方式更新Critic和Actor目标网络
⑦重复T次步骤③～步骤⑥，T为时间片个数；
⑧重复E次步骤②～步骤⑦，E为episode数；
⑨输出任务卸载决策x、带宽资源分配方案B和计算资源分配方案F。
本发明的另一目的在于提供一种实施所述移动边缘环境下单服务器部分计算卸载方法的移动边缘环境下单服务器部分计算卸载***，所述移动边缘环境下单服务器部分计算卸载***，包括：
MEC服务场景构建模块，用于抽象单小区内多个移动用户周围部署着单个基站和边缘服务器的应用场景；
网络通信模块，用于假设由单个部署在小区内的基站为用户提供无线网络服务的情况，通过基站上行链路将各用户任务输入数据发送到MEC服务器；
任务执行模块，用于将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，以减少任务处理时延，提高服务反馈时间；
MEC***总成本问题规划模块，提高小区中各移动用户的体验质量，从时延和能耗两方面来衡量计算卸载模型的性能好坏，并根据上述网络通信和任务执行模型来对单小区多移动用户场景下MEC***总成本进行问题规划；
时延和能耗的联合优化模块，针对每一时间片中问题进行求解，实现所有时间片下多移动用户单服务器MEC场景下时延和能耗的联合优化。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
构建单个基站、多用户终端单MEC服务器场景，设计网络通信模型，依托基站上行链路将各用户任务输入数据发送到MEC服务器；
搭建本地处理与边缘卸载并行任务执行模块，依托网络通信时延与任务执行能耗来对单小区多移动用户场景下MEC***总成本进行问题规划，利用深度确定性梯度算法对时延和能耗进行联合优化。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
构建单个基站、多用户终端单MEC服务器场景，设计网络通信模型，依托基站上行链路将各用户任务输入数据发送到MEC服务器；
搭建本地处理与边缘卸载并行任务执行模块，依托网络通信时延与任务执行能耗来对单小区多移动用户场景下MEC***总成本进行问题规划，利用深度确定性梯度算法对时延和能耗进行联合优化。
本发明提供移动边缘环境下单服务器部分计算卸载策略，主要应用于移动边缘计算的任务卸载与资源分配问题技术领域，同时主要解决多用户单MEC服务器的应用场景中任务执行时延和设备能耗问题。针对该场景和任务类型，设计了一种基于深度确定性梯度算法的动态部分任务卸载和资源分配算法，最后实现了以最小化所有任务计算总延迟和终端设备总能耗为优化目标的部分计算卸载模型。通过数值仿真实验将所提基于DDPG的部分计算卸载策略与基于DQN的部分计算卸载策略进行对比，通过对比研究得出基于DDPG的部分卸载策略性能最优，能够有效地降低整个多用户单服务器MEC***的时延和能耗长期加权总开销。
与现有技术相比，本发明还具有以下优点：在多移动设备单MEC服务器的部分卸载条件下，以任务执行总时延和移动设备总能耗为共同优化指标构建了该MEC***下的问题规划模型，并将深度强化学习理论中的深度确定性策略梯度(DDPG)算法应用到该计算卸载问题中，提出了基于DDPG的部分计算卸载方案。该策略允许在移动设备和单MEC服务器上完成任务的执行，能够在每一时间片动态地为每一用户做出合理的任务卸载决策和分配带宽及计算资源，实现有效降低了任务处理总时延和移动设备总能耗两方面的加权成本。
附图说明
图1是本发明实施例提供的移动边缘环境下单服务器部分计算卸载方法流程图。
图2是本发明实施例提供的移动边缘环境下单服务器部分计算卸载策略实现过程示意图。
图3是本发明实施例提供的移动边缘环境下单服务器部分计算卸载***结构示意图；
图3中：1、MEC服务场景构建模块；2、网络通信模块；3、任务执行模块；4、MEC***总成本问题规划模块；5、时延和能耗的联合优化模块。
图4是本发明实施例提供的深度确定性策略梯度网络架构图。
图5是本发明实施例仿真实验结果中MEC服务器计算能力对***总效益的影响可视图。
图6是本发明实施例仿真实验结果中移动设备个数对***总效益的影响可视图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对当前物联网、5G网络技术领域出现的实时计算任务密集，移动终端计算力薄弱，核心网络运行效能低下等问题，本发明面向虚拟现实游戏、可穿戴式设备、智能家居等应用场景，提供了一种移动边缘环境下单服务器部分计算卸载方法、***、设备，下面结合附图对本发明作详细的描述。
本发明提供的移动边缘环境下单服务器部分计算卸载方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的移动边缘环境下单服务器部分计算卸载方法仅仅是一个具体实施例而已。
如图1所示，本发明提供的移动边缘环境下单服务器部分计算卸载方法包括以下步骤：
S001，构建单个基站、多用户终端单MEC服务器的应用场景，实现对移动终端任务的卸载决策；
S002，设计网络通信模型，通过基站上行链路将各用户任务输入数据发送到MEC服务器，对网络带宽资源做出合理分配；
S003，搭建本地处理与边缘卸载并行任务执行模块，提高应用服务反馈效率；
S004，依托网络通信时延与任务执行能耗进行目标建模，实现单基站多用户场景下MEC***总成本的问题规划；
S005，利用深度确定性策略梯度方法动态优化任务卸载与资源分配策略，基于时延与能耗实现整体性能优化。
如图2所示，本发明提供的移动边缘环境下单服务器部分计算卸载方法具体包括以下步骤：
1)应用场景描述，构建单个基站、多用户终端单MEC服务场景。站在物联网实际生活应用的角度，构建了针对多终端用户单MEC服务器应用场景下的部分计算卸载模型。
2)构建网络通信模型。通过基站上行链路将各用户任务输入数据发送到MEC服务器。在每一时间片应为***做出合理的网络带宽资源分配决策。
3)构建任务执行模型。将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，以减少任务处理时延，大大提高服务反馈时间。
4)MEC***总成本问题规划。从时延和能耗两方面来衡量计算卸载模型的性能好坏，并根据上述网络通信和任务执行模型来对单小区多移动用户场景下MEC***总成本进行问题规划。
5)时延和能耗的联合优化。基于深度确定性策略梯度方法设计了一种联合动态任务卸载与资源分配策略，根据实时环境的变化寻找可以同时降低时延和能耗的最优折中方案。
本发明实施例提供的步骤1)中，构建多终端用户单MEC服务器应用场景包括以下步骤：
1.1)小区多个移动用户的单MEC场景建模
构建由单个基站、多个用户终端和一台公用高性能MEC服务器组成的***网络架构，将移动设备的序号表示为：
N＝{1,2,...}；
且每个用户设备n会生成一个可分割的计算密集型任务：
Figure GDA0003862356550000141
其中，Dn表示任务An的上传数据量大小，Ln代表执行计算任务An所需要的计算资源数量，
Figure GDA0003862356550000142
为处理任务An可容忍的最长时间延迟要求。
1.2)计算卸载决策向量
用户设备n上任务An卸载到MEC服务器上的执行比率表示为xn＝[0,1],n∈N，则本地设备n上执行任务比例为1-xn，子任务本地执行与MEC服务器计算卸载两部分操作采取并行的方式执行，降低任务的总处理时延，提高服务响应时间；
所有用户任务的最终计算卸载决策向量x可表示为：
x＝{x1，x2，...，x|N|}；
1.3)设置等待执行任务缓存队列
假设将整个MEC***时间划分为若干个时长均为τ0的时间片，并针对移动用户资源有限的问题为每一用户终端n设置一个以先进先出顺序执行的等待执行任务缓存队列In，Kn为队列In上要执行的任务计算总量，每当新的时间片t+1开始，移动终端n待执行任务计算总量Kn的动态更新公式为：
Figure GDA0003862356550000151
其中，Kn(t+1)为第t+1个时间片移动终端n缓存队列上的待执行任务量，xn(t)是在时间片t内第n个用户终端上指示任务An(t)本地处理或边缘卸载的决策变量，Ln(t)为执行任务An(t)所需计算资源量，
Figure GDA0003862356550000152
表示第t个时间片内移动用户n本地执行任务量；
1.4)解决数据传输和计算问题
针对服务器端任务卸载时的数据传输和计算问题，需要先通过基站将各移动用户相关任务信息转发到MEC服务器，再由MEC服务器分配相应的计算资源执行任务。因此本模型还需考虑带宽和计算两类资源的实时分配方案。
本发明实施例提供的步骤2)中，网络通信模型的设计包括以下步骤：
定义基站的上行网络带宽资源为固定值W，小区内的所有移动用户需要共享基站的带宽资源，在每一时间片应为***做出合理的网络带宽资源分配决策B＝{B1，B2，...，B|N|}。令基站在时间片t分配给移动用户的带宽资源比例为Bn，Bn∈[0,1]，且满足
Figure GDA0003862356550000153
则根据Shannon公式，当小区内多个终端同时向MEC服务器卸载任务时，用户n与服务器间的上行链路任务传输速率rn可表示为：
Figure GDA0003862356550000161
其中，rn为第n个用户设备的传输功率，且gn表示时间片t上用户n与基站之间的无线传输信道增益，N0是白高斯信道噪声的功率谱密度。
本发明实施例提供的步骤3)中，并行任务执行模型的构建包括以下步骤：
3.1)计算卸载模型分类
根据任务卸载决策x＝{x1，x2，...，x|N|}，每个移动终端可在本地处理其任务，也可将任务卸载一部分到MEC服务器上执行。因此将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，以减少任务处理时延，大大提高服务反馈时间。
3.2)本地执行模型
本地执行模型由移动设备通过自身计算能力来处理任务数据并得到执行结果，主要涉及本地执行时延
Figure GDA0003862356550000162
和设备执行能耗
Figure GDA0003862356550000163
两部分开销。将第n个移动终端的本地CPU计算频率定义为
Figure GDA0003862356550000164
则任务本地执行部分的计算延迟
Figure GDA0003862356550000165
可表示为：
Figure GDA0003862356550000166
其中，(1-xn)Ln为任务An本地执行部分所需CPU周期数。此外，对于每个用户终端来说，本地处理的子任务还应考虑当前时间片本地等待被执行任务缓存队列上的等待时间
Figure GDA0003862356550000167
Figure GDA0003862356550000168
因此，第n个用户终端本地处理子任务的总时延定义为：
Figure GDA0003862356550000169
3.3)边缘卸载模型
边缘服务器端处理子任务一般来说需要分为三个步骤。首先移动用户通过无线链路传输任务相关数据至基站。当基站将移动用户n卸载的子任务转发给MEC服务器时，MEC服务器将为其分配计算资源，计算资源分配决策表示为：
F＝{F1,F2,...,Fn,...,F|N|}；
且满足条件
Figure GDA0003862356550000171
最后，MEC服务器将执行结果反馈给移动设备，由于任务执行结果的回传数据量往往非常小，远远低于上传的任务数据，而无线网络的回传速率也极快，因此本发明忽略将任务结果回传至用户的时间延迟和能量消耗成本。在第n个用户终端向基站传输卸载任务数据的过程中，所需的传输时间延迟
Figure GDA0003862356550000172
定义为：
Figure GDA0003862356550000173
相应的卸载数据xnDn在传输过程中的能量消耗为：
Figure GDA0003862356550000174
其中，Pn为第n个移动用户的上行传输功率。数据传输完成后，任务An的卸载部分在边缘服务器上的计算时间为：
Figure GDA0003862356550000175
其中，Fn为MEC服务器分配给第n个移动用户的计算资源比例，fC为MEC服务器的CPU计算能力。卸载到MEC服务器端的任务处理总时延即为任务传输时延和执行时延之和，表示如下：
Figure GDA0003862356550000176
综上所述，对于时间片t来说，由于本MEC***中用户本地与服务器端可并行执行任务，因此小区中移动用户n的任务An总处理时延为：
Figure GDA0003862356550000177
完成任务An需要的能量消耗总成本为：
Figure GDA0003862356550000181
本发明实施例提供的步骤4)中，MEC***总成本问题规划包括以下步骤：
针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和能量消耗的加权因子ω1与ω2，用于根据用户特定偏好来调整时间和能耗成本的权重比例，且ω1+ω2＝1，并将目标函数制定如下：
Figure GDA0003862356550000182
如上式所示，根据任务执行模型，
Figure GDA0003862356550000183
和
Figure GDA0003862356550000184
分别为t时间片下采用任务卸载决策x＝{x1，x2，...，x|N|}和带宽以及计算资源分配策略B＝{B1,B2,...,Bn,...,B|N|}及F＝{F1,F2,...,Fn,...,F|N|}的任务处理时延与能耗；对
Figure GDA0003862356550000185
求最大值旨在尽可能降低任务An的反馈时间和本地移动设备能耗的加权和，实现整个MEC***模型的效用最大化。
C1～C3中的约束条件分别表示为小区内所有移动用户分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间
Figure GDA0003862356550000186
而C5和C6保证了采用本计算卸载方案所需的时间和能耗成本不大于全部本地执行的时间延迟和能量消耗。
本发明实施例提供的步骤5)中，时延和能耗的联合优化包括以下步骤：
5.1)下一步动作决策
基于当前状态给出下一步的动作决策，具体来讲，可利用四元组M＝(S,As,Pss',a,Rs,a)来描述这一过程。
其中，S是一个有限的状态集合，而A则为有限的动作集合，s则是当前时间片下的***状态且s∈S，s'为***的下一个状态且s'∈S，a为选取的动作且a∈A，Pss',a表示执行动作a时，由当前状态s向下一新状态s'转移的概率，Rs,a为执行动作a后经状态s转换为s'获得的即时直接奖励。
此外，使用折扣因子γ∈[0,1]来衡量未来时间片的状态所具有的奖励值，即基于靠后时间片状态采取的动作对总体奖励值的影响会逐步衰减，并将马尔可夫决策过程中在时间片t上选取一组动作得到的全部奖励值加权总和G(t)描述为：
Figure GDA0003862356550000191
其中，γiR(t+i+1)为时间片t+i+1得到的奖励在时间片t上的价值表现。
5.2)函数三要素设计
以***模型为基础，根据多终端用户单MEC服务器应用场景将状态、动作以及奖励函数分别设计如下：
5.2.1)状态：状态空间首先要确保能够包含环境中的全部信息，充分体现环境在每一时间片的变化；因此将本***状态定义为：
s(t)＝[D1(t),D2(t),...,D|N|(t),L1(t),L2(t),...,L|N|(t),K1(t),K2(t),...,K|N|(t),r1(t),r2(t),...,r|N|(t)]；
***状态由当前时间片t上小区中移动用户到达任务的数据量D(t)、所需计算资源数L(t)、任务缓存队列上待执行任务量K(t)以及移动用户和服务器之间的数据传输速率r(t)四个部分构成；
5.2.2)动作：根据状态s(t)中每一时间片上用户新到达任务的数据量D(t)、所需计算资源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例决策x(t)、每一移动用户分配的带宽资源比率B(t)及服务器计算资源分配比率F(t)，即：
a(t)＝[x1(t),x2(t),...,x|N|(t),B1(t),B2(t),...,B|N|(t),F1(t),F2(t),...,F|N|(t)]；
5.2.3)奖励函数：将时间片t上***得到的瞬时奖励回报设置为公式中的目标函数值，即
Figure GDA0003862356550000201
执行动作a(t)得到的回报R(t)越大，则表明当前时间片t所有用户任务执行的时间成本
Figure GDA0003862356550000202
和能耗成本
Figure GDA0003862356550000203
加权和越小。
5.3)深度确定性策略梯度(DDPG)算法进行优化
利用深度确定性策略梯度算法动态地求解每一时间片下的任务卸载决策与资源分配方案，以实现目标函数的最小化，降低时延和能耗的加权总成本。
5.3.1)深度确定性策略梯度网络结构
DDPG网络结构中有Actor和Critic两个模块，并包含着四个神经网络，分别是Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络，深度确定性策略梯度网络架构如图5所示。
其中，Actor网络模块用于选取动作并交给智能体Agent执行此动作，而Critic模块则用于根据状态s(t)和动作a(t)对进行Q值评估。经验回放单元存储着与环境交互获得的状态转换数据样本，用于后期采样。
5.3.2)深度确定性策略梯度算法目标函数
DDPG算法中Critic模块的目标函数是一个时序差分TD-error，用来表示当前动作与预期的差异，且将Critic网络的损失函数定义为TD-error的平方：
Figure GDA0003862356550000204
其中，m是从经验回放单元中随机抽取的状态转换样本{s(t),a(t),R(t),s(t+1)}的数量，R(t)为时间片t上执行动作a(t)得到的奖励，Q'(s(t+1),a(t+1),θQ')则表示由Critic目标网络给出的下一时间片t+1上状态s(t+1)和动作a(t+1)对的评估值，θQ、θQ'分别为当前和目标网络的权重参数，Q(s(t),a(t),θQ)则为通过Critic当前网络得到的对于当前时刻t对应状态s(t)和动作a(t)的价值评判，γ是折扣因子；
DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择一个能够使评估价值尽可能最大的动作a(t)＝μ(s(t),θμ)，其损失函数为：
Figure GDA0003862356550000211
其中，θμ为Actor当前网络的权重参数；
基于DDPG的多用户单服务器联合任务卸载与资源分配步骤如下：
①输入任务请求集合{A1,A2,...,AN}、上行网络带宽W和MEC服务器计算能力fC，初始化经验回放单元M，同时随机初始化Actor当前网络μ(s(t),θμ)和Critic当前网络Q(s(t),a(t),θQ)的权重θμ和θQ；
②随机初始m个状态转换数据用于动作action探测，接收初始状态s(0)；
③根据当前策略和探测噪声循环遍历生成动作a(t)＝μ(s(t),θμ)+noise(t)；
④执行动作a(t)的卸载决策和资源分配并得到回报R(t)和下一时间片的状态s(t+1)；
⑤从经验回放单元M中随机选取m个状态转换元组{s(t),a(t),R(t),s(t+1)}；
⑥基于损失函数，使用软更新方式更新Critic和Actor目标网络
⑦重复T次步骤③～步骤⑥，T为时间片个数；
⑧重复E次步骤②～步骤⑦，E为episode数；
⑨输出任务卸载决策x、带宽资源分配方案B和计算资源分配方案F。
如图3所示，本发明提供的移动边缘环境下单服务器部分计算卸载***具体包括：
MEC服务场景构建模块1，用于抽象单小区内多个移动用户周围部署着单个基站和边缘服务器的应用场景。
网络通信模块2，用于假设由单个部署在小区内的基站为用户提供无线网络服务的情况，通过基站上行链路将各用户任务输入数据发送到MEC服务器。
任务执行模块3，用于将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，以减少任务处理时延，大大提高服务反馈时间。
MEC***总成本问题规划模块4，提高小区中各移动用户的体验质量，从时延和能耗两方面来衡量计算卸载模型的性能好坏，并根据上述网络通信和任务执行模型来对单小区多移动用户场景下MEC***总成本进行问题规划。
时延和能耗的联合优化模块5，针对每一时间片中问题进行求解，实现所有时间片下多移动用户单服务器MEC场景下时延和能耗的联合优化。
下面结合仿真实验对本发明的技术效果作详细的描述。
1、实验设置
为了对提出的基于深度确定性策略梯度的部分计算卸载算法性能加以验证，本发明采用python 3.6进行仿真实验，集成开发环境为JetBrains PyCharm。
2、实验内容
由于所提模型与现有边缘计算任务卸载文献中模型不同，为了验证所提算法的性能，将引用的基于深度确定性策略梯度的部分计算卸载算法与三种基线算法及基于深度Q网络(Deep Q Network，DQN)的部分计算卸载算法进行对比。
(1)本地执行(All local,AL)：每一时间片移动用户产生的任务全部在本地执行并且此时不需要分配带宽资源和计算资源。
(2)卸载执行且按比例分配资源(All Offloading and Proportional Fair,AOAPF)：任务全部卸载到MEC服务器执行且按各移动用户任务数据大小和所需计算资源数分配带宽资源和计算资源。
(3)卸载执行且随机分配资源(All Offloading and Random Fair,AOARF)：任务全部卸载到MEC服务器执行且随机分配带宽资源和计算资源。
(4)基于DQN的部分计算卸载算法：与本发明提出的基于DDPG的部分计算卸载算法状态、动作和奖励函数相同，但DQN算法的动作空间是离散的。对于每一移动用户n，为其任务卸载比例决策αn、带宽资源分配比例决策Bn及计算资源分配比例决策Fn均设置级别为level＝6，可分别表示为：
Figure GDA0003862356550000231
Figure GDA0003862356550000232
Figure GDA0003862356550000233
则在满足
Figure GDA0003862356550000234
及
Figure GDA0003862356550000235
的约束条件下，每一用户可选择的动作空间为：αn,level×Bn,level×Fn,level。
3、实验结果与性能分析
如图5所示，实验中对于所提基于DDPG的部分计算卸载算法共训练了1000个episode，且学习的每个episode包含1000个时间片，设置时延和能耗的权重因子ω1和ω2均为0.5。首先，表1为MEC服务器计算能力fC对于提出的多用户单服务器MEC***下部分计算卸载策略性能的影响。实验表明随着MEC服务器计算能力fC的增长，所提基于DDPG的计算卸载算法表现的性能最佳。
表1 MEC服务器计算能力对***总效益的影响
Figure GDA0003862356550000236
如图6所示，针对终端设备数量分别为2，3，4，5，6的参数下进行了仿真实验，表2为***总效益随着移动设备数量的增长所展现的变化趋势。实验表明，在移动用户数量不断增长的条件下，所提DDPG、AL、AOAPF、AOARF和DQN五种算法的***总效益均呈现为下降趋势，且基于DDPG的部分卸载策略性能最优，能够有效地降低整个多用户单服务器MEC***的时延和能耗长期加权总开销，具有一定的可行性。
表2移动设备个数对***总效益的影响
Figure GDA0003862356550000241
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种移动边缘环境下单服务器部分计算卸载方法，其特征在于，所述移动边缘环境下单服务器部分计算卸载方法，具体为：
步骤一，构建单个基站、多用户终端单MEC服务器的应用场景，实现对用户终端任务的卸载决策；
步骤二，设计网络通信模型，通过基站上行链路将各用户终端任务输入数据发送到MEC服务器，对网络带宽资源做出分配；
步骤三，构建本地处理与边缘卸载并行任务执行模块，提高应用服务反馈效率；
步骤四，依托网络通信时延与任务执行能耗进行目标建模，实现单基站多用户终端场景下MEC***总成本的问题规划；
步骤五，利用深度确定性策略梯度方法动态优化任务卸载与资源分配策略，基于时延与能耗实现联合性能优化；
所述步骤一中，构建多用户终端单MEC服务器应用场景包括以下步骤：
1)小区多个用户终端的单MEC场景建模，构建由单个基站、多个用户终端和一台公用高性能MEC服务器组成的***网络架构，将用户终端设备的序号表示为：
N＝{1,2,...}
且每个用户终端n会生成一个可分割的计算密集型任务：
Figure FDA0003887513980000011
其中，Dn表示任务An的上传数据量大小，Ln代表执行计算任务An所需要的计算资源数量，
Figure FDA0003887513980000012
为处理任务An可容忍的最长时间延迟要求；
2)计算卸载决策向量，用户终端n上任务An卸载到MEC服务器上的执行比率表示为xn＝[0,1],n∈N，则用户终端n上本地执行任务比例为1-xn，任务本地执行与MEC服务器计算卸载两部分操作采取并行的方式执行，降低任务的总处理时延，提高服务响应时间；
所有用户终端任务的最终计算卸载决策向量x可表示为：
x＝{x1，x2，...，x|N|}；
3)设置等待执行任务缓存队列，假设将整个MEC***时间划分为若干个时长均为τ0的时间片，并针对用户终端资源有限的问题为每一用户终端n设置一个以先进先出顺序执行的等待执行任务缓存队列In，Kn为队列In上要执行的任务计算总量，每当新的时间片t+1开始，用户终端n待执行任务计算总量Kn的动态更新公式为：
Figure FDA0003887513980000021
其中，Kn(t+1)为第t+1个时间片用户终端n缓存队列上的待执行任务量，xn(t)是在时间片t内第n个用户终端上指示任务，An(t)是本地处理或边缘卸载的决策变量，Ln(t)为执行任务An(t)所需计算资源量，
Figure FDA0003887513980000022
表示第t个时间片内用户终端n本地执行任务量；
4)解决数据传输和计算问题，针对服务器端任务卸载时的数据传输和计算问题，先通过基站将各用户终端相关任务信息转发到MEC服务器，再由MEC服务器分配相应的计算资源执行任务；
所述步骤二中，网络通信模型的设计包括以下步骤：
定义基站的上行网络带宽资源为固定值W，小区内的所有用户终端需要共享基站的带宽资源，在每一时间片应为***做出网络带宽资源分配决策B＝{B1，B2，...，B|N|}；令基站在时间片t分配给用户终端的带宽资源比例为Bn，Bn∈[0,1]，且满足
Figure FDA0003887513980000023
则根据Shannon公式，当小区内多个终端同时向MEC服务器卸载任务时，用户终端n与服务器间的上行链路任务传输速率rn可表示为：
Figure FDA0003887513980000024
其中，Pn为第n个用户终端的传输功率，且gn表示时间片t上用户终端n与基站之间的无线传输信道增益，N0是白高斯信道噪声的功率谱密度；
所述步骤三中，并行任务执行模块的构建包括以下步骤：
计算卸载模型分类，根据任务卸载决策x＝{x1，x2，...，x|N|}，每个用户终端可在本地处理其任务，也可将任务卸载一部分到MEC服务器上执行；将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，减少任务处理时延，提高服务反馈时间；
本地执行模型，本地执行模型由用户终端通过自身计算能力来处理任务数据并得到执行结果，主要涉及本地执行时延
Figure FDA0003887513980000031
和设备执行能耗
Figure FDA0003887513980000032
两部分开销；将第n个用户终端的本地CPU计算频率定义为
Figure FDA0003887513980000033
则任务本地执行部分的计算延迟
Figure FDA0003887513980000034
可表示为：
Figure FDA0003887513980000035
其中，(1-xn)Ln为任务An本地执行部分所需CPU周期数；此外，对于每个用户终端来说，本地处理的子任务还应采用当前时间片本地等待被执行任务缓存队列上的等待时间
Figure FDA0003887513980000036
Figure FDA0003887513980000037
因此，第n个用户终端本地处理子任务的总时延定义为：
Figure FDA0003887513980000038
边缘卸载模型，边缘服务器端处理子任务需要分为三个步骤；首先用户终端通过无线链路传输任务相关数据至基站；当基站将用户终端n卸载的子任务转发给MEC服务器时，MEC服务器将为其分配计算资源，计算资源分配决策表示为：
F＝{F1,F2,...,Fn,...,F|N|}；
且满足条件
Figure FDA0003887513980000041
最后，MEC服务器将执行结果反馈给用户终端，由于任务执行结果的回传数据量往往非常小，远远低于上传的任务数据，而无线网络的回传速率也极快，因此忽略将任务结果回传至用户终端的时间延迟和能量消耗成本；在第n个用户终端向基站传输卸载任务数据的过程中，所需的传输时间延迟
Figure FDA0003887513980000042
定义为：
Figure FDA0003887513980000043
相应的卸载数据xnDn在传输过程中的能量消耗为：
Figure FDA0003887513980000044
其中，Pn为第n个用户终端的上行传输功率；数据传输完成后，任务An的卸载部分在边缘服务器上的计算时间为：
Figure FDA0003887513980000045
其中，Fn为MEC服务器分配给第n个用户终端的计算资源比例，fC为MEC服务器的CPU计算能力；卸载到MEC服务器端的任务处理总时延即为任务传输时延和执行时延之和，表示如下：
Figure FDA0003887513980000046
对于时间片t来说，由于本MEC***中用户终端本地与服务器端可并行执行任务，因此小区中用户终端n的任务An总处理时延为：
Figure FDA0003887513980000047
完成任务An需要的能量消耗总成本为：
Figure FDA0003887513980000048
所述步骤四中，MEC***总成本问题规划包括以下步骤：
针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和能量消耗的加权因子ω1与ω2，用于根据用户终端特定偏好来调整时间和能耗成本的权重比例，且ω1+ω2＝1，并将目标函数制定如下：
Figure FDA0003887513980000051
如上式所示，根据任务执行模型，
Figure FDA0003887513980000052
和
Figure FDA0003887513980000053
分别为t时间片下采用任务卸载决策x＝{x1，x2，...，x|N|}和带宽资源分配策略B＝{B1,B2,...,Bn,...,B|N|}及计算资源分配策略F＝{F1,F2,...,Fn,...,F|N|}的任务处理时延与能耗；对
Figure FDA0003887513980000054
求最大值旨在尽可能降低任务An的反馈时间和本地用户终端能耗的加权和，实现整个MEC***模型的效用最大化，
Figure FDA0003887513980000055
表示全部本地执行的时间延迟，
Figure FDA0003887513980000056
表示全部本地执行的能量消耗；
C1～C3中的约束条件分别表示为小区内所有用户终端分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间
Figure FDA0003887513980000057
而C5和C6保证了采用本计算卸载方案所需的时间和能耗成本不大于全部本地执行的时间延迟和能量消耗；
所述步骤五中，时延和能耗的联合优化包括以下步骤：
基于当前状态给出下一步的动作决策，利用四元组M＝(S,As,Pss',a,Rs,a)来描述这一过程；
其中，S是一个有限的状态集合，而A则为有限的动作集合，s则是当前时间片下的***状态且s∈S，s'为***的下一个状态且s'∈S，a为选取的动作且a∈A，Pss',a表示执行动作a时，由当前状态s向下一新状态s'转移的概率，Rs,a为执行动作a后经状态s转换为s'获得的即时直接奖励；
此外，使用折扣因子γ∈[0,1]来衡量未来时间片的状态所具有的奖励值，即基于迟延时间片状态采取的动作对总体奖励值的影响会逐步衰减，并将马尔可夫决策过程中在时间片t上选取一组动作得到的全部奖励值加权总和G(t)描述为：
Figure FDA0003887513980000061
其中，γiR(t+i+1)为时间片t+i+1得到的奖励在时间片t上的价值表现；
函数三要素设计，以***模型为基础，根据多用户终端单MEC服务器应用场景将状态、动作以及奖励函数分别设计如下：
状态：状态空间首先要确保能够包含环境中的全部信息，充分体现环境在每一时间片的变化；因此将本***状态定义为：
s(t)＝[D1(t),D2(t),...,D|N|(t),L1(t),L2(t),...,L|N|(t),K1(t),K2(t),...,K|N|(t),r1(t),r2(t),...,r|N|(t)]；
***状态由当前时间片t上小区中用户终端到达任务的数据量D(t)、所需计算资源数L(t)、任务缓存队列上待执行任务量K(t)以及用户终端和服务器之间的数据传输速率r(t)四个部分构成；
动作：根据状态s(t)中每一时间片上用户终端新到达任务的数据量D(t)、所需计算资源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例决策x(t)、每一用户终端分配的带宽资源比率B(t)及服务器计算资源分配比率F(t)，即：
a(t)＝[x1(t),x2(t),...,x|N|(t),B1(t),B2(t),...,B|N|(t),F1(t),F2(t),...,F|N|(t)]；
奖励函数：将时间片t上***得到的瞬时奖励回报设置为公式中的目标函数值，即
Figure FDA0003887513980000062
执行动作a(t)得到的回报R(t)越大，则表明当前时间片t所有用户终端任务执行的时间成本
Figure FDA0003887513980000071
和能耗成本
Figure FDA0003887513980000072
加权和越小；
深度确定性策略梯度DDPG算法进行优化，利用深度确定性策略梯度算法动态地求解每一时间片下的任务卸载决策与资源分配方案，以实现目标函数的最小化，降低时延和能耗的加权总成本；
深度确定性策略梯度网络结构，DDPG网络结构中有Actor和Critic两个模块，并包含着四个神经网络，分别是Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络；
其中，Actor网络模块用于选取动作并交给智能体Agent执行此动作，而Critic模块则用于根据状态s(t)和动作a(t)对进行Q值评估；经验回放单元存储着与环境交互获得的状态转换数据样本，用于后期采样；
深度确定性策略梯度算法目标函数，DDPG算法中Critic模块的目标函数是一个时序差分TD-error，用来表示当前动作与预期的差异，且将Critic网络的损失函数定义为TD-error的平方：
Figure FDA0003887513980000073
其中，m是从经验回放单元中随机抽取的状态转换样本{s(t),a(t),R(t),s(t+1)}的数量，R(t)为时间片t上执行动作a(t)得到的奖励，Q'(s(t+1),a(t+1),θQ')则表示由Critic目标网络给出的下一时间片t+1上状态s(t+1)和动作a(t+1)对的评估值，θQ、θQ'分别为当前和目标网络的权重参数，Q(s(t),a(t),θQ)则为通过Critic当前网络得到的对于当前时刻t对应状态s(t)和动作a(t)的价值评判，γ是折扣因子；
DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择一个能够使评估价值尽可能最大的动作a(t)＝μ(s(t),θμ)，其损失函数为：
Figure FDA0003887513980000074
其中，θμ为Actor当前网络的权重参数；
基于DDPG的多用户终端单服务器联合任务卸载与资源分配步骤如下：
①输入任务请求集合{A1,A2,...,A|N|}、上行网络带宽W和MEC服务器计算能力fC，初始化经验回放单元M，同时随机初始化Actor当前网络μ(s(t),θμ)和Critic当前网络Q(s(t),a(t),θQ)的权重θμ和θQ；
②随机初始m个状态转换数据用于动作action探测，接收初始状态s(0)；
③根据当前策略和探测噪声循环遍历生成动作a(t)＝μ(s(t),θμ)+noise(t)；
④执行动作a(t)的卸载决策和资源分配并得到回报R(t)和下一时间片的状态s(t+1)；
⑤从经验回放单元M中随机选取m个状态转换元组{s(t),a(t),R(t),s(t+1)}；
⑥基于损失函数，使用软更新方式更新Critic和Actor目标网络；
⑦重复T次步骤③～步骤⑥，T为时间片个数；
⑧重复E次步骤②～步骤⑦，E为episode数；
⑨输出任务卸载决策x、带宽资源分配方案B和计算资源分配方案F。
2.一种实施如权利要求1所述移动边缘环境下单服务器部分计算卸载方法的移动边缘环境下单服务器部分计算卸载***，其特征在于，所述移动边缘环境下单服务器部分计算卸载***，包括：
MEC服务场景构建模块，用于抽象单小区内多个用户终端周围部署着单个基站和边缘服务器的应用场景；
网络通信模块，用于假设由单个部署在小区内的基站为用户终端提供无线网络服务的情况，通过基站上行链路将各用户终端任务输入数据发送到MEC服务器；
任务执行模块，用于将任务的计算卸载模型分为本地执行模型和边缘卸载模型，且本地处理与边缘卸载两部分同时并行执行，以减少任务处理时延，提高服务反馈时间；
MEC***总成本问题规划模块，提高小区中各用户终端的体验质量，从时延和能耗两方面来衡量计算卸载模型的性能好坏，并根据上述网络通信和任务执行模型来对单小区多用户终端场景下MEC***总成本进行问题规划；
时延和能耗的联合优化模块，针对每一时间片中问题进行求解，实现所有时间片下多用户终端单服务器MEC场景下时延和能耗的联合优化。
3.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1所述移动边缘环境下单服务器部分计算卸载方法。
4.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1所述移动边缘环境下单服务器部分计算卸载方法。
CN202111060966.0A 2021-09-10 2021-09-10 移动边缘环境下单服务器部分计算卸载方法、***、设备 Active CN113950066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111060966.0A CN113950066B (zh) 2021-09-10 2021-09-10 移动边缘环境下单服务器部分计算卸载方法、***、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111060966.0A CN113950066B (zh) 2021-09-10 2021-09-10 移动边缘环境下单服务器部分计算卸载方法、***、设备

Publications (2)

Publication Number Publication Date
CN113950066A CN113950066A (zh) 2022-01-18
CN113950066B true CN113950066B (zh) 2023-01-17

Family

ID=79328000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111060966.0A Active CN113950066B (zh) 2021-09-10 2021-09-10 移动边缘环境下单服务器部分计算卸载方法、***、设备

Country Status (1)

Country Link
CN (1) CN113950066B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114614878B (zh) * 2022-02-14 2023-08-29 哈尔滨工业大学（深圳） 星地网络中基于矩阵-向量乘法任务的编码计算分配方法
CN114615705B (zh) * 2022-03-11 2022-12-20 广东技术师范大学 一种基于5g网络下单用户资源分配策略方法
CN114340016B (zh) * 2022-03-16 2022-07-26 北京邮电大学 一种电网边缘计算卸载分配方法及***
CN114640675B (zh) * 2022-03-21 2024-02-09 中国联合网络通信集团有限公司 一种卸载策略确定方法、装置、电子设备及存储介质
CN114786215B (zh) * 2022-03-22 2023-10-20 国网浙江省电力有限公司信息通信分公司 多基站移动边缘计算***传输计算联合优化***及方法
CN115002799B (zh) * 2022-04-25 2024-04-12 燕山大学 一种面向工业混合网络的任务卸载与资源分配方法
CN114866548B (zh) * 2022-04-26 2022-12-23 中南大学 一种基于移动雾计算的任务卸载方法
CN115002801B (zh) * 2022-04-27 2024-04-16 燕山大学 基于无源中继协作的边缘计算资源动态卸载方法及装置
CN114884949B (zh) * 2022-05-07 2024-03-26 深圳泓越信息科技有限公司 基于maddpg算法的低轨卫星物联网任务卸载方法
CN115002123B (zh) * 2022-05-25 2023-05-05 西南交通大学 基于移动边缘计算的快速适应任务卸载***和方法
CN115002113B (zh) * 2022-05-26 2023-08-01 南京邮电大学 一种移动基站边缘计算力资源调度方法、***、电子设备
CN114860345B (zh) * 2022-05-31 2023-09-08 南京邮电大学 一种智能家居场景下基于缓存辅助的计算卸载方法
CN115022319A (zh) * 2022-05-31 2022-09-06 浙江理工大学 一种基于drl的边缘视频目标检测任务卸载方法及***
CN115334076A (zh) * 2022-07-08 2022-11-11 电子科技大学 一种边缘服务器的服务迁移方法、***及边缘服务器设备
CN115208894B (zh) * 2022-07-26 2023-10-13 福州大学 移动边缘计算中基于Stackelberg博弈的定价与计算卸载方法
CN115623540B (zh) * 2022-11-11 2023-10-03 南京邮电大学 一种移动设备的边缘优化卸载方法
CN115858048B (zh) * 2023-03-03 2023-04-25 成都信息工程大学 一种面向混合关键级任务动态到达边缘卸载方法
CN116321199A (zh) * 2023-04-10 2023-06-23 南京邮电大学 一种基于时序图和图匹配理论的任务卸载方法、设备及介质
CN116489711A (zh) * 2023-04-25 2023-07-25 北京交通大学 一种基于深度强化学习的边缘计算网络的任务迁移方法
CN116709428B (zh) * 2023-08-04 2023-11-24 华东交通大学 一种基于移动边缘计算的计算卸载方法及***
CN117499999B (zh) * 2023-12-29 2024-04-12 四川华鲲振宇智能科技有限责任公司 一种基于边缘计算的任务卸载方法
CN117793805B (zh) * 2024-02-27 2024-04-26 厦门宇树康信息技术有限公司 动态用户随机接入的移动边缘计算资源分配方法与***
CN117834643B (zh) * 2024-03-05 2024-05-03 南京邮电大学 一种面向工业物联网的深度神经网络协同推理方法
CN117873689B (zh) * 2024-03-11 2024-05-31 浪潮计算机科技有限公司 一种任务分配方法、装置、设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN111918339A (zh) * 2020-07-17 2020-11-10 西安交通大学 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法
CN112689296A (zh) * 2020-12-14 2021-04-20 山东师范大学 一种异构IoT网络中的边缘计算与缓存方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062026A (zh) * 2019-03-15 2019-07-26 重庆邮电大学 移动边缘计算网络中资源分配和计算卸载联合优化方案

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN111918339A (zh) * 2020-07-17 2020-11-10 西安交通大学 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法
CN112689296A (zh) * 2020-12-14 2021-04-20 山东师范大学 一种异构IoT网络中的边缘计算与缓存方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint Task Offloading and Resource Allocation via Proximal Policy Optimization for Mobile Edge Computing Network;Lingling An等;《2021 International Conference on Networking and Network Applications》;20211031;全文 *
基于深度强化学习多用户移动边缘计算轻量任务卸载优化;张文献,杜永文;《Journal of Measurement Science and Instrumentation》;20201119;全文 *

Also Published As

Publication number Publication date
CN113950066A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、***、设备
CN113242568B (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN113950103B (zh) 一种移动边缘环境下多服务器完全计算卸载方法及***
CN108920280B (zh) 一种单用户场景下的移动边缘计算任务卸载方法
CN110798849A (zh) 一种超密网边缘计算的计算资源分配与任务卸载方法
CN113612843A (zh) 一种基于深度强化学习的mec任务卸载和资源分配方法
CN114340016B (zh) 一种电网边缘计算卸载分配方法及***
CN113064671A (zh) 基于多智能体的边缘云可扩展任务卸载方法
CN112988345A (zh) 一种基于移动边缘计算的依赖型任务卸载方法及装置
CN114205353B (zh) 一种基于混合动作空间强化学习算法的计算卸载方法
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN113867843B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN113760511B (zh) 一种基于深度确定性策略的车辆边缘计算任务卸载方法
CN113993218A (zh) 一种mec架构下基于多智能体drl的协作卸载和资源分配方法
CN112799823A (zh) 边缘计算任务的在线分派调度方法和***
CN113626104A (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
Hu et al. Dynamic task offloading in MEC-enabled IoT networks: A hybrid DDPG-D3QN approach
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
CN117579701A (zh) 一种移动边缘网络计算卸载方法及***
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同***及方法
CN112445617A (zh) 一种基于移动边缘计算的负载策略选择方法及***
CN116828541A (zh) 基于多智能体强化学习的边缘计算依赖任务动态卸载方法及***
CN113452625B (zh) 基于深度强化学习的卸载调度与资源分配方法
CN113157344B (zh) 移动边缘计算环境下基于drl的能耗感知任务卸载方法
Feng et al. An intelligent scheduling framework for DNN task acceleration in heterogeneous edge networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant