CN115297171B - 一种蜂窝车联网分级决策的边缘计算卸载方法及*** - Google Patents
一种蜂窝车联网分级决策的边缘计算卸载方法及*** Download PDFInfo
- Publication number
- CN115297171B CN115297171B CN202210801107.0A CN202210801107A CN115297171B CN 115297171 B CN115297171 B CN 115297171B CN 202210801107 A CN202210801107 A CN 202210801107A CN 115297171 B CN115297171 B CN 115297171B
- Authority
- CN
- China
- Prior art keywords
- edge
- task
- calculation
- intelligent vehicle
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种蜂窝车联网分级决策的边缘计算卸载方法及***,包括:识别目标智能车辆的计算任务在多接入边缘计算MEC平台中是否存在缓存历史计算任务结果;若存在,则将历史计算任务结果直接推送给目标智能车辆;若不存在,则将所述计算任务视为新任务,选出区域内符合时延约束条件的边缘服务器;采用最近最少使用LRU算法对新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;对新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,将获得的计算任务结果推送给目标智能车辆;目标智能车辆将计算任务结果同步给相邻智能车辆。本发明能够实现车载计算任务的自适应卸载与高效管理,避免网络通讯堵塞,提高卸载效率,降低***成本。
Description
技术领域
本发明涉及车联网资源分配技术领域,特别涉及蜂窝车联网分级决策的边缘计算卸载方法及***。
背景技术
随着移动通信技术的快速发展,伴随着越来越多的智能设备接入互联网,蜂窝车联网C-V2X及其智能网联交通***也受到广泛关注。其中,C-V2X技术基于蜂窝网络进行组网并服务,车对外界的信息交换V2X业务场景包括车对车V2V通信、车与网络V2N通信、车与基础设施V2I通信和车与人V2P通信等多种模式;由于智能网联汽车的大规模接入、并发服务及V2X业务的混合作用加强,给智能网络汽车的单车V2X通信和区域V2X组网均带来了不稳定因素。
欧洲电信标准协会ETSI早期提出了移动边缘计算MEC(Mobile Edge Computing)技术,通过部署靠近用户的边缘计算平台以改善用户的接入服务体验;后为适应场景需要,ETSI将MEC技术扩展为多接入边缘计算MEC(Multi-access Edge Computing),并发布了相关业务场景标准,制定了服务、架构和应用程序接口规范。多接入边缘计算MEC技术是不同于集中式云计算的新型计算范式,其通过合理分配边缘基础设施的空闲资源,可提供轻量级的计算及缓存能力,优化终端接入与***服务性能。
然而,在复杂的C-V2X环境下,大规模智能网联汽车接入的同时会产生大量的计算密集型业务,而单车车载单元OBU的计算、存储和通信能力有限。目前围绕MEC赋能的边缘计算服务的研究,通过利用基于机器学***台的缓存状态,而是将计算任务全部卸载到边缘服务,边缘计算卸载性能无法达到最优;并且,现有融入无线通信模型的边缘卸载研究大多采用传统H2H模型,无法很好的描述5G蜂窝车联网V2X通信性能,当智能网联汽车存在连续的异质计算任务时,往往会制约智能计算卸载算法的决策性能。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种涉及蜂窝车联网分级决策的边缘计算卸载方法及***,本发明在复杂多变的蜂窝车联网场景下,不仅能够有效解决单车车载单元OBU资源受限问题,避免网络通讯堵塞,而且充分考虑到MEC平台的缓存状态,通过边缘缓存分级决策实现车载计算任务的自适应卸载与高效管理,进一步提高卸载效率,同时使***成本最小化。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供一种蜂窝车联网分级决策的边缘计算卸载方法,所述方法包括:
获取目标智能车辆的计算任务;
对所述计算任务进行合法认证后,识别所述计算任务在多接入边缘计算MEC平台中是否存在缓存历史计算任务结果;
若存在,则将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆;
若不存在,则将所述计算任务视为新任务,并根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,将获得的计算任务结果推送给所述目标智能车辆;
所述目标智能车辆将计算任务结果同步给相邻智能车辆,避免同类型计算任务对所述MEC平台重复接入请求。
结合第一方面,进一步的,所述采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,具体包括:
将所述新任务的请求数据和缓存命中数据填入边缘缓存队列的链表队首,并移除溢出链表队尾的任务,所述链表队尾的任务为缓存命中率最低的任务;
其中,缓存队列中存在对应历史执行结果的概率表示为:
式中,Hm表示预设的最大缓存空间,pLRU表示新任务的请求数据出现在队首的概率;
所述LRU算法的缓存命中率表示为:
π=pLRUp’LRU (2)。
结合第一方面,进一步的,对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,具体包括:
结合智能车辆边缘网络效用和任务处理时延,构建本地计算成本代价函数及边缘计算成本代价函数;
基于本地计算成本代价函数及边缘计算成本代价函数,建立成本代价目标函数;
采用DDPG算法对成本代价目标函数进行最优化处理,得到最终的卸载策略。
结合第一方面,进一步的,所述结合智能车辆边缘网络效用和任务处理时延,构建本地计算成本代价函数及边缘计算成本代价函数,具体包括:
若计算任务τi的本地计算时延小于设定的最大容忍时延,则计算任务τi采用本地卸载方案,本地计算时延如公式(3)所示:
式中,fi v表示网联车载平台的计算能力,di表示计算任务τi对应的数据量大小;
基于本地计算时延,通过公式(4)得到本地计算平台在执行计算任务τi时的本地资源消耗评价函数:
式中,pc表示本地计算平台CPU的能耗功率;
结合所述本地资源消耗评价函数和本地计算时延,构建本地计算成本代价函数如公式(5)所示:
若计算任务τi的本地计算时延大于设定的最大容忍时延,则将部分计算任务卸载到边缘服务器,以满足最低时延的约束要求;
计算任务卸载至边缘服务器的边缘计算时延表示为:
式中,fi m表示边缘服务器的计算能力,si表示计算任务所需的边缘服务器的CPU周期数;
基于边缘计算试验,计算任务卸载至边缘服务器的边缘资源消耗评价函数表示为:
式中,pv表示边缘服务器CPU的能耗功率;
结合所述边缘资源消耗评价函数和边缘计算时延,构建边缘计算成本代价函数如公式(8)所示:
结合第一方面,进一步的,所述基于本地计算成本代价函数及边缘计算成本代价函数,建立成本代价目标函数,具体为:
式中,min Cij表示目标函数的最小代价成本,约束条件C1表示卸载决策为[0,1]的连续变量,C2表示计算资源之和不超过服务节点的最大计算能力;C3表示缓存至边缘服务器的数据内容不能超过最大缓存空间Hm;C4表示智能车辆满足计算卸载的时延容忍度。
结合第一方面,进一步的,所述采用DDPG算法对成本代价目标函数进行最优化处理,包括:
DDPG算法通过Actor网络和Critic网络对***的值函数和最终策略进行估计,在t时刻,所述Actor网络基于当前工作状态St执行的卸载策略At,通过迭代计算进行策略更新,获得奖励值Rt并进入下一状态St+1,所述Actor将状态转换过程存储到经验回放池;
其中,t时刻执行的卸载策略向量At、工作状态St和奖励函数Rt分别表示为:
基于所述卸载策略向量At、工作状态St和奖励函数Rt,通过最小化损失函数(11),更新优化所述Critic网络参数ω:
式中,j∈{1,2,…,L}表示经验回放池随机采样的数据,yj表示Critic目标网络中计算当前目标Q值,Q(ω)表示Critic目标网络所选策略的当前Q值;
基于所述Critic网络参数ω,通过最大化决策目标函数(12),更新优化Actor网络参数θ:
根据更新优化后的Actor网络参数θ确定最大奖励值,从而获得成本代价目标函数的最小代价成本,得到最终的卸载策略。
第二方面,本发明提供一种蜂窝车联网分级决策的边缘计算卸载***,所述***包括V2X组网集群和MEC平台;
所述V2X组网集群包括智能车辆和路侧基站RSU,所述智能车辆上配置有边缘协同代理单元和组网集群代理单元,所述智能车辆包括目标智能车辆和相邻智能车辆,所述目标智能车辆和相邻智能车辆通过组网集群代理单元通信连接,所述目标智能车辆通过边缘协同代理单元与所述MEC平台通信连接;
所述MEC平台包括:
获取模块,用于获取目标智能车辆的计算任务;
认证识别模块,用于对所述计算任务进行合法认证后,识别所述计算任务是否存在缓存历史计算任务结果;
一级决策模块,用于当所述认证识别模块的识别结果为存在时,将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆的边缘协同代理单元;
二级决策模块,用于当所述认证识别模块的识别结果为不存在时,将所述计算任务视为新任务来进行处理;所述二级决策模块包括:
服务器优选单元,用于根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
边缘缓存队列管理单元,用于基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
计算卸载单元,用于对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,并将获得的计算任务结果推送给所述目标智能车辆的边缘协同代理单元;
其中,目标智能车辆的组网集群代理单元将计算任务结果同步给相邻智能车辆的组网集群代理单元,避免同类型计算任务对所述MEC平台重复接入请求。
结合第二方面,进一步的,所述目标智能车辆与所述相邻智能车辆的组网集群代理单元之间通过基于侧链的V2V链路进行通信连接;所述目标智能车辆的边缘协同代理单元通过路侧基站RSU与所述MEC平台通信连接;所述路侧基站RSU与所述MEC平台通过基于Uu通信的V2N链路进行通信连接。
第三方面,本发明提供一种蜂窝车联网分级决策的边缘计算卸载装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行第一方面任一项所述的蜂窝车联网分级决策的边缘计算卸载方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如第一方面任一项所述的蜂窝车联网分级决策的边缘计算卸载方法的步骤。
与现有技术相比,本发明所达到的有益效果:
本发明支持V2X场景下对不同计算任务的分类处理,由MEC平台对智能车辆计算请求进行预判决,确保对连续的计算任务的快速响应;智能车辆依据当前位置获取区域内的边缘服务器,以时延要求优选出对应的边缘服务器,车辆V2X计算请求的卸载时,由边缘缓存进行任务识别,充分利用服务器计算缓存结果,提升对相同计算任务的处理效率;针对新技术任务,采用LRU算法对任务队列进行优化处理,实现对新任务的高效管理,同时建立深度强化学***台重复接入请求,进而可以缓解并发接入造成的通信拥塞,提升V2X通信网络的工作效能。
本发明在复杂多变的蜂窝车联网场景下,充分考虑到MEC平台的缓存状态,通过分级决策实现车载计算任务的自适应卸载与高效处理;仿真试验结果表明,对比传统的车辆本地卸载模型、服务器卸载模型和LOO卸载模型,本发明进一步提高卸载效率的同时使***成本最小化,获得更优的计算卸载性能。
附图说明
图1是本发明实施例提供的蜂窝车联网分级决策的边缘计算卸载方法的流程图;
图2是本发明实施例提供的蜂窝车联网分级决策的边缘计算卸载***的结构原理框图;
图3是本发明实施例提供的V2X组网集群和MEC平台的结构示意图;
图4是本发明实施例提供的计算卸载与边缘缓存协同策略的场景模型示意图
图5是本发明实施例提供的DDPG算法优化计算卸载与边缘缓存协同策略的原理示意图;
图6是本发明实施例提供的方法与现有的方法对MEC计算能力与***成本关系的仿真试验结果示意图;
图7是本发明实施例提供的方法与现有的方法对不同计算任务量与***成本关系的仿真结果试验结果示意图;
图8是本发明实施例提供的方法与现有的方法对不同智能车辆数量与***成本关系的仿真结果试验结果示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符"/",一般表示前后关联对象是一种“或”的关系。
实施例一:
参照图1,本发明实施例提供的一种蜂窝车联网分级决策的边缘计算卸载方法,包括如下步骤:
步骤1:获取目标智能车辆的计算任务;
步骤2:对所述计算任务进行合法认证后,识别所述计算任务在多接入边缘计算MEC平台中是否存在缓存历史计算任务结果;若存在,则执行步骤3,若不存在则执行步骤4;
步骤3:将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆;
步骤4:将所述计算任务视为新任务,并根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
步骤5:基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
步骤6:对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,将获得的计算任务结果推送给所述目标智能车辆;
步骤7:所述目标智能车辆将计算任务结果同步给相邻智能车辆,避免同类型计算任务对所述MEC平台重复接入请求。
作为本发明的一种实施例,在步骤6中的针对智能车辆的计算卸载与边缘缓存协同策略的场景示意模型如图4所示,道路侧部署信号灯、路侧单元设施RSU和摄像头,同时MEC平台即区域云上包括了信道灯控制器、边缘服务器和视频录像机等,可以协同处理智能车辆通过蜂窝网络传来的计算任务,将计算任务卸载到计算、缓存资源充足的边缘服务器;此外,目标研究区域部署L个路侧基站RSU,每个RSU与MEC边缘服务器之间采用光纤连接以保证实时性;智能车辆与MEC边缘服务器配备不同的计算资源,两者隶属于V2X***中的不同服务节点,目标智能车辆在V2X组网过程中,发起的计算任务可与MEC平台之间进行V2R卸载。
具体的,智能车辆部署满足Poisson分布,表示为V={v1,v2,…,vi},vi表示V2X组网集群中编号为i的智能车辆;各智能车辆在V2X组网过程中,将智能车辆vi发起的计算任务定义为τi=di,di表示计算任务τi对应的数据量大小;将智能车辆卸载决策定义为Z={z1,z2…,zi},zi表示对计算任务τi的卸载决策;计算卸载与边缘缓存协同策略是充分利用以网联车辆组建的V2X网络以及所处道路区域的MEC平台的边缘服务器的有限资源。
根据智能车辆用户在任务请求卸载过程中,对时延、能耗、功率、计算能力等约束条件的要求不同,因此本发明实施例利用MEC边缘服务器的缓存功能更好地为用户提供服务;定义MEC边缘服务器的资源空间为C={c1,c2,…,ci},其中i≥L,即RSU可以配置1个或多个MEC边缘服务器;且ci=1表示第L个MEC服务器节点里已缓存了车联网V2X任务的计算结果,ci=0表示MEC边缘服务器节点未缓存该计算任务;计算卸载与边缘缓存协同策略场景中的路侧基站的传输功率远大于终端用户设备,计算任务的结果回传时延可以忽略不计。
需要说明的是,智能网联汽车在V2X组网体系结构下,本车发起的计算任务,将在邻车与MEC平台之间进行联合卸载与优化;本发明实施例的智能车辆均配备工作于同一频段的专用天线,通过支持冲突避免的载波侦听多路访问CSMA/CA机制竞争信道,保障链路共享信道传输;其中,高速公路场景下V2V链路视距条件下的路径损耗模型为:
PLV2V=32.4+20log10(d2D)+20log10(fc) (1)
式中,d2D表示源车辆与目标车辆之间的平面距离,fc表示载波频率;
考虑到天线高度与部署差异,将V2R链路视距条件下的路径损耗模型分类为:
当0m≤d2D≤dBP时,将V2R链路的视距条件下路径损耗模型定义为:
PL1=28+22log10(d3D)+20log10(fc) (3)
当dBP≤d2D≤5km时,将V2R链路的视距条件下路径损耗模型定义为:
PL2=28+40log10(d3D)+20log(fc)-9log10((dBP)2+(hBS-hUT)2) (4)
式中,hBS和hUT分别表示路侧基站和智能车辆天线的部署高度,d3D表示源车辆和目标基站之间的3D距离,c为光速,dBP=4hBShUTfc/c表示中断距离;
依据香农公式将目标智能车辆vi的数据上传速率定义为:
式中,pv为目标智能车辆vi的发射功率,PLV2X -δ表示相邻智能车辆与路侧基站之间的路径损耗,δ表示路径损耗因子,hij 2为任务请求的目标智能车辆vi与服务设备之间的信道增益,σ2为高斯白噪声功率,B表示信道带宽。
本发明实施例步骤5中采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,具体包括:
将所述新任务的请求数据和缓存命中数据填入边缘缓存队列的链表队首,并移除溢出链表队尾的任务,所述链表队尾的任务为缓存命中率最低的任务;
其中,缓存队列中存在对应历史执行结果的概率表示为:
式中,Hm表示预设的最大缓存空间,pLRU表示新任务的请求数据出现在队首的概率;
所述LRU算法的缓存命中率表示为:
π=pLRUp’LRU (7);
进一步说明的是,在V2X架构下,网络功能虚拟化使得网络部署更加灵活,MEC平台将更多的数据从“核心”下沉到道路“边缘”,使时延敏感业务无需经过接入网送至云服务端处理,可以保障时延约束的同时优化网络负载;目标智能车辆发起的计算请求,在缓存决策时,若存在历史执行结果,则直接推送给当前车辆,否则执行计算卸载与边缘缓存协同策略进行联合优化。此外,通过队列组建和队列更新,以实现对计算任务请求的连续处理;在队列组建过程中,引入LRU算法对边缘缓存数据链表进行管理,在设定的最大缓存空间Hm内,目标智能车辆发来的新请求数据和缓存命中数据,均会不断填入链表头部;在缓存队列更新阶段,数据链表将动态加入高频次访问的计算任务,而动态淘汰低频次计算任务;考虑到边缘缓存空间的有限性,为保障实时请求和活跃任务的处理,队列尾部的链路数据也将不断被丢弃,从而实现对新任务的高效管理。
作为本发明的一种实施例,步骤6中对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略的步骤如下:
步骤6.1:结合智能车辆边缘网络效用和任务处理时延,构建本地计算成本代价函数及边缘计算成本代价函数;具体包括:
若计算任务τi的本地计算时延小于设定的最大容忍时延,则计算任务τi采用本地卸载方案,本地计算时延如公式(3)所示:
式中,fi v表示网联车载平台的计算能力,di表示计算任务τi对应的数据量大小;
基于本地计算时延,通过公式(4)得到本地计算平台在执行计算任务τi时的本地资源消耗评价函数:
式中,pc表示本地计算平台CPU的能耗功率;
结合所述本地资源消耗评价函数和本地计算时延,构建本地计算成本代价函数如公式(5)所示:
若计算任务τi的本地计算时延大于设定的最大容忍时延,则将部分计算任务卸载到边缘服务器,以满足最低时延的约束要求;
计算任务卸载至边缘服务器的边缘计算时延表示为:
式中,fi m表示边缘服务器的计算能力,si表示计算任务所需的边缘服务器的CPU周期数;
基于边缘计算试验,计算任务卸载至边缘服务器的边缘资源消耗评价函数表示为:
式中,pv表示边缘服务器CPU的能耗功率;
结合所述边缘资源消耗评价函数和边缘计算时延,构建边缘计算成本代价函数如公式(8)所示:
步骤6.2:基于本地计算成本代价函数及边缘计算成本代价函数,建立成本代价目标函数如下所示:
式中,min Cij表示目标函数的最小代价成本,约束条件C1表示卸载决策为[0,1]的连续变量,C2表示计算资源之和不超过服务节点的最大计算能力;C3表示缓存至边缘服务器的数据内容不能超过最大缓存空间Hm;C4表示智能车辆满足计算卸载的时延容忍度。
步骤6.3:采用DDPG算法对成本代价目标函数进行最优化处理,得到最终的卸载策略;具体为:
参照图5,DDPG算法通过Actor网络和Critic网络对***的值函数和最终策略进行估计,在t时刻,Actor网络基于当前工作状态St执行的卸载策略At,通过迭代计算进行策略更新,获得奖励值Rt并进入下一状态St+1述Actor将状态转换过程存储到经验回放池;本发明实施例中,智能车辆并发入网时,目标智能车辆车辆发起的计算任务τi,输入DNN隐藏着层进行训练,提取最优参数值,最大迭代次数设为1000次;为了提高训练效率,引入不相关的非0高斯噪声来探索策略,并使用梯度下降法进行参数更新;
其中,t时刻执行的卸载策略向量At、工作状态St和奖励函数Rt分别表示为:
执行的卸载策略;
基于所述卸载策略向量At、工作状态St和奖励函数Rt,通过最小化损失函数(11),更新优化所述Critic网络参数ω:
式中,j∈{1,2,…,L}表示经验回放池随机采样的数据,yj表示Critic目标网络中计算当前目标Q值,Q(ω)表示Critic目标网络所选策略的当前Q值;
基于所述Critic网络参数ω,通过最大化决策目标函数(12),更新优化Actor网络参数θ:
根据更新优化后的Actor网络参数θ确定最大奖励值,从而获得成本代价目标函数的最小代价成本,得到最终的卸载策略。
为验证本发明实施例提供的蜂窝车联网分级决策的边缘计算卸载方法的有效性与工作性能,基于Python开发环境搭建仿真***并测试验证,从智能车辆数量、计算任务量和路侧边缘节点数等方面,将本发明方法与现有的车辆本地(Local)卸载、服务器(Server)卸载以及LOO(Local or Offloading)卸载机制进行性能对比,评价不同卸载方案的优劣;每个RSU配置一个边缘服务器,多个边缘节点以及每个边缘服务器之间采用边缘云部署结构实现互联互通,测试验证的结果参照图6至图8;仿真实验的配置参数详见表1所示:
表1仿真参数
如图6所示,给出了MEC计算能力与***成本关系的仿真结果,可以看出,相比车辆本地卸载、服务器卸载及LOO卸载模型,本发明方法在降低***成本方面优于其他模型,随着MEC计算能力的增加,服务器卸载、LOO卸载模型和L-DDPG模型的***成本均处于下降趋势,而车辆本地卸载由于未引入边缘服务器,造成***成本无法获得优化;LOO模型在对车联网业务进行卸载决策时,输出了本地和服务器两类卸载方案,由于未实施计算任务卸载与边缘缓存联合优化,故其***成本高于L-DDPG模型;本发明方法将车路资源充分利用,因此可以获得更优的***成本。
此外,智能网联汽车与C-V2X技术的融合,极大丰富了V2X业务场景与服务类型,从图7的仿真试验可以看出,***中的成本代价随着任务量的增加而增加,四种方法产生的***成本均处于上升趋势;传统的车辆本地卸载由于车辆本身计算能力有限而带来较大的时延开销,在相同任务量时,车辆本地卸载模型的成本增加速度最快,服务器卸载模型次之,LOO卸载模型和本发明方法的成本线性增长率基本一致,但本发明方法产生的绝对成本代价均优于LOO卸载策略。
进一步的,图8给出了智能车辆数量与***成本关系图的仿真结果,可以看出,随着智能车辆接入数的不断增加,四种卸载策略下***成本均处于上升趋势,并且在不同车辆数场景下,本发明方法均可获得最优的***成本;从图7和图8可以看出,计算任务和智能车辆数据量对成本代价影响较大;其中,计算任务在车辆本地卸载时,由于大量V2X业务的并发,造成对有限资源的竞争激烈,***成本增长速度最快,最大达到7%;服务器卸载模型时的***成本增长率次之,最大到6%;LOO和本发明方法的***成本增长速度最慢,最大增长率分别为4%和3%。
综上所述,本发明实施例提出蜂窝车联网分级决策的边缘计算卸载方法,联合MEC平台制定协同缓存策略,植入第三代合作伙伴计划3GPP中定义的5G***面向车联网服务的V2X通信模型,通过分级决策缓解并发接入造成的通信拥塞,提升V2X通信网络的工作效能;利用最近最少使用法LRU和深度强化学习DDPG算法,通过计算卸载与边缘缓存协同以提升车载计算的工作性能,优化目标是在最大容忍时延和计算资源等约束条件下,同时使***成本最小化,实现车载计算任务的自适应卸载与高效处理。
实施例二:
参照图2和图3,本发明实施例提供了一种蜂窝车联网分级决策的边缘计算卸载***,可以用于实施实施例一所述的方法;***包括V2X组网集群和MEC平台;具体的,V2X组网集群包括智能车辆和路侧基站RSU,所述智能车辆上配置有边缘协同代理单元和组网集群代理单元,所述智能车辆包括目标智能车辆和相邻智能车辆,所述目标智能车辆和相邻智能车辆通过组网集群代理单元通信连接,所述目标智能车辆通过边缘协同代理单元与所述MEC平台通信连接;
所述MEC平台包括:
获取模块,用于获取目标智能车辆的计算任务;
认证识别模块,用于对所述计算任务进行合法认证后,识别所述计算任务是否存在缓存历史计算任务结果;
一级决策模块,用于当所述认证识别模块的识别结果为存在时,将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆的边缘协同代理单元;
二级决策模块,用于当所述认证识别模块的识别结果为不存在时,将所述计算任务视为新任务来进行处理;所述二级决策模块包括:
服务器优选单元,用于根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
边缘缓存队列管理单元,用于基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
计算卸载单元,用于对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,并将获得的计算任务结果推送给所述目标智能车辆的边缘协同代理单元;
其中,目标智能车辆的组网集群代理单元将计算任务结果同步给相邻智能车辆的组网集群代理单元,避免同类型计算任务对所述MEC平台重复接入请求。
作为本发明的一种实施例,目标智能车辆与相邻智能车辆的组网集群代理单元之间通过基于侧链的V2V链路进行通信连接;目标智能车辆的边缘协同代理单元通过路侧基站RSU与所述MEC平台通信连接;路侧基站RSU与所述MEC平台通过基于Uu通信的V2N链路进行通信连接。
使用时,智能车辆上配置的边缘协同代理单元负责智能车辆与MEC平台之间的交互控制,组网集群代理单元执行智能车辆组网集群之间V2X消息的广播服务,MEC平台的认证识别模块用于对目标智能网联汽车接入的计算任务进行合法鉴权并识别任务类别,对于已有任务由一级决策单元模块返回计算结果;而新计算任务则转由二级决策模块进行处理,当执行计算卸载时,二级决策模块首先执行区域边缘服务器优选,选出区域内满足时延约束要求的边缘服务器加入计算卸载流程,然后执行计算卸载与边缘缓存协同决策过程,再将计算任务结果推送给智能车辆的组网集群代理单元,高效利用了边缘平台的架构优势;目标智能车辆基于侧链通信,由组网集群代理单元将同类别计算任务获得的计算任务结果广播给本区域集群内的所有相邻智能车辆,在组网集群代理单元的管控下,可以减少相同计算任务对边缘平台的计算任务结果请求,避免V2X组网集群的通信拥塞,提升V2X通信网络的工作效能。
本发明实施例提供的蜂窝车联网分级决策的边缘计算卸载***与实施例一提供的蜂窝车联网分级决策的边缘计算卸载方法基于相同的技术构思,能够产生如实施例一所述的有益效果,在本实施例中未详尽描述的内容可以参见实施例一。
实施例三:
本发明实施例提供了一种蜂窝车联网分级决策的边缘计算卸载装置,包括处理器及存储介质;
所述存储介质用于存储指令;
处理器用于根据指令进行操作以执行根据实施例一中任一项方法的步骤。
实施例四:
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如实现实施例一中任一项方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种蜂窝车联网分级决策的边缘计算卸载方法,其特征在于,所述方法包括:
获取目标智能车辆的计算任务;
对所述计算任务进行合法认证后,识别所述计算任务在多接入边缘计算MEC平台中是否存在缓存历史计算任务结果;
若存在,则将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆;
若不存在,则将所述计算任务视为新任务,并根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,将获得的计算任务结果推送给所述目标智能车辆;
所述目标智能车辆将计算任务结果同步给相邻智能车辆,避免同类型计算任务对所述MEC平台重复接入请求;
对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,具体包括:
结合智能车辆边缘网络效用和任务处理时延,构建本地计算成本代价函数及边缘计算成本代价函数;
基于本地计算成本代价函数及边缘计算成本代价函数,建立成本代价目标函数;
采用DDPG算法对成本代价目标函数进行最优化处理,得到最终的卸载策略;
所述结合智能车辆边缘网络效用和任务处理时延,构建本地计算成本代价函数及边缘计算成本代价函数,具体包括:
若计算任务τi的本地计算时延小于设定的最大容忍时延,则计算任务τi采用本地卸载方案,本地计算时延如公式(3)所示:
式中,fi v表示网联车载平台的计算能力,di表示计算任务τi对应的数据量大小;
基于本地计算时延,通过公式(4)得到本地计算平台在执行计算任务τi时的本地资源消耗评价函数:
式中,pc表示本地计算平台CPU的能耗功率;
结合所述本地资源消耗评价函数和本地计算时延,构建本地计算成本代价函数如公式(5)所示:
若计算任务τi的本地计算时延大于设定的最大容忍时延,则将部分计算任务卸载到边缘服务器,以满足最低时延的约束要求;
计算任务卸载至边缘服务器的边缘计算时延表示为:
式中,fi m表示边缘服务器的计算能力,si表示计算任务所需的边缘服务器的CPU周期数;
基于边缘计算试验,计算任务卸载至边缘服务器的边缘资源消耗评价函数表示为:
式中,pv表示边缘服务器CPU的能耗功率;
结合所述边缘资源消耗评价函数和边缘计算时延,构建边缘计算成本代价函数如公式(8)所示:
所述基于本地计算成本代价函数及边缘计算成本代价函数,建立成本代价目标函数,具体为:
式中,minCij表示目标函数的最小代价成本,约束条件C1表示卸载决策为[0,1]的连续变量,C2表示计算资源之和不超过服务节点的最大计算能力;C3表示缓存至边缘服务器的数据内容不能超过最大缓存空间Hm;C4表示智能车辆满足计算卸载的时延容忍度;
所述采用DDPG算法对成本代价目标函数进行最优化处理,包括:
DDPG算法通过Actor网络和Critic网络对***的值函数和最终策略进行估计,在t时刻,所述Actor网络基于当前工作状态St执行的卸载策略At,通过迭代计算进行策略更新,获得奖励值Rt并进入下一状态St+1,所述Actor将状态转换过程存储到经验回放池;
其中,t时刻执行的卸载策略向量At、工作状态St和奖励函数Rt分别表示为:
基于所述卸载策略向量At、工作状态St和奖励函数Rt,通过最小化损失函数(11),更新优化所述Critic网络参数ω:
式中,j∈{1,2,L,L}表示经验回放池随机采样的数据,yj表示Critic目标网络中计算当前目标Q值,Q(ω)表示Critic目标网络所选策略的当前Q值;
基于所述Critic网络参数ω,通过最大化决策目标函数(12),更新优化Actor网络参数θ:
根据更新优化后的Actor网络参数θ确定最大奖励值,从而获得成本代价目标函数的最小代价成本,得到最终的卸载策略。
3.一种蜂窝车联网分级决策的边缘计算卸载***,用于实现权利要求1或2任一所述的蜂窝车联网分级决策的边缘计算卸载方法,其特征在于,所述***包括V2X组网集群和MEC平台;
所述V2X组网集群包括智能车辆和路侧基站RSU,所述智能车辆上配置有边缘协同代理单元和组网集群代理单元,所述智能车辆包括目标智能车辆和相邻智能车辆,所述目标智能车辆和相邻智能车辆通过组网集群代理单元通信连接,所述目标智能车辆通过边缘协同代理单元与所述MEC平台通信连接;
所述MEC平台包括:
获取模块,用于获取目标智能车辆的计算任务;
认证识别模块,用于对所述计算任务进行合法认证后,识别所述计算任务是否存在缓存历史计算任务结果;
一级决策模块,用于当所述认证识别模块的识别结果为存在时,将所述计算任务对应的历史计算任务结果直接推送给目标智能车辆的边缘协同代理单元;
二级决策模块,用于当所述认证识别模块的识别结果为不存在时,将所述计算任务视为新任务来进行处理;所述二级决策模块包括:
服务器优选单元,用于根据所述目标智能车辆当前位置选出区域内符合时延约束条件的边缘服务器;
边缘缓存队列管理单元,用于基于选出的边缘服务器,采用最近最少使用LRU算法对所述新任务进行边缘缓存队列管理,以优化MEC平台资源使用率;
计算卸载单元,用于对所述新任务实施基于深度强化学习DDPG算法的计算卸载与边缘缓存协同策略,并将获得的计算任务结果推送给所述目标智能车辆的边缘协同代理单元;
其中,目标智能车辆的组网集群代理单元将计算任务结果同步给相邻智能车辆的组网集群代理单元,避免同类型计算任务对所述MEC平台重复接入请求。
4.根据权利要求3所述的蜂窝车联网分级决策的边缘计算卸载***,其特征在于,所述目标智能车辆与所述相邻智能车辆的组网集群代理单元之间通过基于侧链的V2V链路进行通信连接;所述目标智能车辆的边缘协同代理单元通过路侧基站RSU与所述MEC平台通信连接;所述路侧基站RSU与所述MEC平台通过基于Uu通信的V2N链路进行通信连接。
5.一种蜂窝车联网分级决策的边缘计算卸载装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1或2任一项所述的蜂窝车联网分级决策的边缘计算卸载方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1或2任一项所述的蜂窝车联网分级决策的边缘计算卸载方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210801107.0A CN115297171B (zh) | 2022-07-08 | 2022-07-08 | 一种蜂窝车联网分级决策的边缘计算卸载方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210801107.0A CN115297171B (zh) | 2022-07-08 | 2022-07-08 | 一种蜂窝车联网分级决策的边缘计算卸载方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115297171A CN115297171A (zh) | 2022-11-04 |
CN115297171B true CN115297171B (zh) | 2023-05-30 |
Family
ID=83822994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210801107.0A Active CN115297171B (zh) | 2022-07-08 | 2022-07-08 | 一种蜂窝车联网分级决策的边缘计算卸载方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115297171B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115599529B (zh) * | 2022-11-15 | 2023-03-10 | 阿里巴巴(中国)有限公司 | 边缘云函数计算***和方法 |
CN116208669B (zh) * | 2023-04-28 | 2023-06-30 | 湖南大学 | 基于智慧灯杆的车载异构网络协同任务卸载方法及*** |
CN116980982B (zh) * | 2023-09-20 | 2024-01-23 | 山东高速信息集团有限公司 | 一种柔性组网架构下任务处理方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188442A (zh) * | 2020-11-16 | 2021-01-05 | 西南交通大学 | 基于移动边缘计算的车联网数据驱动任务卸载***和方法 |
CN114143346A (zh) * | 2021-11-29 | 2022-03-04 | 广东工业大学 | 一种车联网任务卸载和服务缓存的联合优化方法及*** |
CN114615265A (zh) * | 2022-03-09 | 2022-06-10 | 浙江工业大学 | 边缘计算环境下基于深度强化学习的车载任务卸载方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190385726A1 (en) * | 2017-09-14 | 2019-12-19 | Dosepack LLC | Networked automated system for managing end-toend pill dispensing, packing, and supply-chain |
CN111786839B (zh) * | 2020-07-15 | 2021-09-07 | 南通大学 | 一种车载边缘计算网络中能效优化的计算卸载方法及*** |
-
2022
- 2022-07-08 CN CN202210801107.0A patent/CN115297171B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188442A (zh) * | 2020-11-16 | 2021-01-05 | 西南交通大学 | 基于移动边缘计算的车联网数据驱动任务卸载***和方法 |
CN114143346A (zh) * | 2021-11-29 | 2022-03-04 | 广东工业大学 | 一种车联网任务卸载和服务缓存的联合优化方法及*** |
CN114615265A (zh) * | 2022-03-09 | 2022-06-10 | 浙江工业大学 | 边缘计算环境下基于深度强化学习的车载任务卸载方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115297171A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115297171B (zh) | 一种蜂窝车联网分级决策的边缘计算卸载方法及*** | |
CN111010684B (zh) | 一种基于mec缓存服务的车联网资源分配方法 | |
CN110035410B (zh) | 一种软件定义车载边缘网络中联合资源分配和计算卸载的方法 | |
CN107766135B (zh) | 移动朵云中基于粒子群和模拟退火优化的任务分配方法 | |
CN110312231A (zh) | 一种车联网中基于移动边缘计算的内容缓存决策和资源分配联合优化方法 | |
CN111445111B (zh) | 一种基于边缘协同的电力物联网任务分配方法 | |
Yang et al. | Learning based channel allocation and task offloading in temporary UAV-assisted vehicular edge computing networks | |
Wu et al. | Load balance guaranteed vehicle-to-vehicle computation offloading for min-max fairness in VANETs | |
CN113645273B (zh) | 基于业务优先级的车联网任务卸载方法 | |
CN114143346A (zh) | 一种车联网任务卸载和服务缓存的联合优化方法及*** | |
CN112153145A (zh) | 5g边缘环境下面向车联网的计算任务卸载方法及装置 | |
CN114641041B (zh) | 一种面向边缘智能的车联网切片方法及装置 | |
CN113641417B (zh) | 一种基于分支定界法的车辆安全任务卸载方法 | |
CN117221951A (zh) | 车载边缘环境下基于深度强化学习的任务卸载方法 | |
Ouyang | Task offloading algorithm of vehicle edge computing environment based on Dueling-DQN | |
Li | Optimization of task offloading problem based on simulated annealing algorithm in MEC | |
CN113709249B (zh) | 辅助驾驶业务安全均衡卸载方法及*** | |
CN114928611A (zh) | 一种基于IEEE802.11p协议的车联网节能计算卸载优化方法 | |
Wang et al. | Joint offloading decision and resource allocation in vehicular edge computing networks | |
CN113726894A (zh) | 一种基于深度强化学习的多车应用计算卸载方法及终端 | |
CN115065683B (zh) | 基于车辆聚类的车辆边缘网络任务分配卸载方法 | |
CN114928893A (zh) | 一种基于智能反射面的架构及任务卸载方法 | |
Cui et al. | Online container scheduling for low-latency iot services in edge cluster upgrade: A reinforcement learning approach | |
CN118113484B (zh) | 一种资源调度方法、***、存储介质及车辆 | |
CN115373856B (zh) | 一种端边云网络框架中智能车辆的卸载任务分配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |