CN115209426B - 一种边缘车联网内数字孪生服务器动态部署方法 - Google Patents
一种边缘车联网内数字孪生服务器动态部署方法 Download PDFInfo
- Publication number
- CN115209426B CN115209426B CN202210904376.XA CN202210904376A CN115209426B CN 115209426 B CN115209426 B CN 115209426B CN 202210904376 A CN202210904376 A CN 202210904376A CN 115209426 B CN115209426 B CN 115209426B
- Authority
- CN
- China
- Prior art keywords
- digital twin
- user
- server
- delay
- deployed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/18—Network planning tools
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种边缘车联网内数字孪生服务器动态部署方法,涉及智能交通***和车联网领域,包括以下步骤:设置数字孪生服务器的定义,获取边缘服务器的状态:信道状态、通信资源、计算资源;构建数字孪生的通信模型和计算模型,计算构建数字孪生模型的延迟,并计算用户与服务器进行数据交互的同步延迟;计算***总的延迟;将用户选择、数字孪生服务器的计算资源容量、数字孪生服务器的存储容量约束、交互时间构建约束函数;基于actor‑critic的深度强化学习模型寻找数字孪生模型的布局策略。本发明通过优化用户与路侧数字孪生服务器的关联关系,从而通过改善移动用户与数字孪生服务器之间的交互效率,帮助用户优化决策。
Description
技术领域
本发明涉及智能交通***和车联网领域领域,更具体地,涉及一种边缘车联网内数字孪生服务器动态部署方法。
背景技术
随着5G通信网络技术和车联网技术的快速发展,车辆和车内乘客各种丰富的车载应用的出现,使得车联网内用户产生了海量的数据,导致移动用户对本身的计算资源需求也越来越多。由车辆自身直接提供服务可以极大提升用户的驾驶体验,然而,当车辆自身有限的计算资源难以满足计算服务的时延要求,直接车辆本地化计算对用户的服务质量会造成一定的影响。随着移动边缘计算技术的发展,用户可以把自身无法处理的任务卸载到部署在路边单元或者基站的边缘服务器,以减少任务处理完成时间,得到理想的服务体验和服务质量。
数字孪生是一种对现实物理实体的虚拟映射,数字孪生诞生于航天航空领域,最近开始在智能交通领域出现了数字孪生相关的研究。用户与边缘服务器连接,在边缘服务器就近构建数字孪生服务。在动态变化的智能交通领域数字孪生服务可以在孪生域通过服务器之间进行数据交互、预测获取用户的信息,有效物理***内的车辆用户做出。目前已经有一些工作探索如何利用数字孪生提高无线通信***的性能,以用于计算卸载、内容缓存以及资源分配等方面。
在数字孪生辅助的边缘车联网中,用户与已构建数字孪生的边缘服务器需要进行实时交互,更新数字孪生服务的数据,对于数字孪生的数据处理、分析、预测,因此对于数字孪生中数据的准确度有很高要求。然而,车联网是一个典型的异构网络。由于车辆的快速移动,在大规模数据密集通信情况下,将出现与延迟和连接相关的挑战。这将导致数字孪生中的运行状态与真实世界的运行状态的巨大鸿沟,而这个偏差将会影响后续的预测,难以为用户提供优质的服务。在边缘车联网中,如何对数字孪生***进行有效构建成为关键。
此外边缘服务器有限的存储空间难以满足大量移动用户的数字孪生模型构建,同时数据分析、人工智能处理也将消耗大量的计算资源,如果部署在基站或者路边单元的边缘服务器没有充足的存储资源和计算资源为用户提供数字孪生服务,也必定影响后续相关的决策。目前有很多研究考虑如何通过数字孪生提升边缘计算网络***的性能,却很少分析数字孪生的构建,特别是数字孪生服务器的部署和数据服务的放置问题,目前暂未发现有效的解决方案。
现有技术公开了一种基于联邦学习与数字孪生的智能交通路径规划方法,包括以下步骤:S1:在车辆***进行车辆注册,并验证车辆身份信息;S2:根据验证通过车辆cr的本地历史数据Di,参与联邦学习,训练本地模型mi;S3:利用路旁单元Rk的边缘服务器聚合所有车辆cr的本地模型mi,得到聚合模型Mk;
S4:重复步骤S2-S3,判断聚合模型Mk是否收敛至预定精度θth或超过时间限制Tth,若是进入步骤S5,否则返回步骤S2;S5:更新车辆cr的实时本地状态S′i至路旁单元Rk,并利用多个路旁单元Rk建立车联网全局数字孪生模型G(t);
S6:利用路旁单元Rk,周期性更新车联网全局数字孪生模型G(t);S7:根据更新后的车联网全局数字孪生模型G(t),利用车辆cr向路旁单元Rk发起寻路请求reqr,i,并实时更新最佳路径及本地预测模型,完成智能交通的最佳路径规划。该现有技术的不足之处在于没有考虑数字孪生边缘服务器的选址问题和数字孪生服务的放置问题,也没有基于车流量的大小进行服务器的划分。
发明内容
本发明为克服上述现有技术中没有考虑到边缘车联网内数字孪生边缘服务器的选址和数字孪生服务的放置问题,提供一种边缘车联网内数字孪生服务器动态部署方法。
为解决上述技术问题,本发明采用的技术方案是:一种边缘车联网内数字孪生服务器动态部署方法,包括以下步骤:
设用户的集合为I,其中车辆i∈Ι,部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K;
根据获取边缘服务器的状态:信道状态、通信资源、计算资源;构建数字孪生的通信模型和计算模型;
在路边单元、基站上构建数字孪生模型,根据通信模型、计算模型计算在路边单元、基站构建数字孪生模型的延迟,并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟;
根据延迟和同步延迟计算***总的延迟;
根据用户的选择和数字孪生服务器的计算资源容量、存储容量约束,以及用户与数字孪生服务器的交互时间构建约束函数;
结合***总的延迟和约束函数,基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略;
所述的通信模型的构建方法如下:
根据香农定理,得到用户部署在路边单元的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器j分为给用的带宽,hi,j为用户i与数字孪生服务器j之间的信道增益,pi,j为用户i与数字孪生服务器j之间的传输功率,σ为高斯白噪声,di,j为用户i与数字孪生服务器j之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器j之间的物理距离对传输速率的影响;
得到用户与部署在路边单元的数字孪生服务器的数据传输速率后,计算用户与部署在路边单元的数字孪生服务器的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小;
用户与部署在基站的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器k分为给用的带宽,hi,k为用户i与数字孪生服务器k之间的信道增益,pi,k为用户i与数字孪生服务器k之间的传输功率,σ为高斯白噪声,di,k为用户i与数字孪生服务器k之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器k之间的物理距离对传输速率的影响;
用户i与部署在基站的数字孪生服务器k的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器k的数据大小;
所述的计算模型的构建方法如下:
数字孪生服务器j处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fij为数字孪生服务器j分配给用户i的CPU频率;
数字孪生服务器k处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fik为数字孪生服务器k分配给用户i的CPU频率。
本发明的工作原理:
由于维护数字孪生需要大量的资源消耗,在每个移动边缘计算服务器中构建数字孪生会导致传输负载、计算开销和能耗的大幅增加。为了解决这个问题,在边缘车联网的数字孪生网络中,不需要在每个基站中维护数字孪生,而是选择一个子集基站作为数字孪生服务器,以降低时间成本和能耗来维护数字孪生。因此考虑将基站分为两类基站,一类基站只处理用户卸载的服务,一类基站只负责维护用户的数字孪生。以此解决边缘车联网内数字孪生边缘服务器的选址问题。
优选地,所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗;
所述的通信资源包括带宽、传输功率。
进一步地,在路边单元、基站构建数字孪生模型的延迟的计算方法如下:
用户在部署在路边单元的数字孪生服务器的构建数字孪生的延迟:
用户在部署在基站的数字孪生服务器的构建数字孪生的延迟:
用户构建数字孪生模型的延迟包含无线通信延迟和边缘服务器的计算延迟。
更进一步地,在路边单元、基站构建数字孪生模型的同步延迟计算方法如下:
用户在部署在路边单元的数字孪生服务器的同步的延迟:
用户在部署在基站的数字孪生服务器的同步的延迟:
同步延迟包含无线通信延迟和边缘服务器的计算延迟。
更进一步地,总的***延迟表达为:
其中,T表示总时间;
需要在其延迟要求内为每个用户提供服务,如下所示:
需要满足的条件为在总的***延迟取最小的情况下,为每个用户提供服务。更进一步地,选择约束函数表示如下:
xj(t)∈{0,1},xk(t)∈{0,1}
限制用户在t时刻对路边单元和基站的选择;使用二进制参数xj和xk表示用户的选择,若xj为1,则选择路边单元放置数字孪生模型,否则为0;若xk为1,则选择基站放置数字孪生模型,否则为0;
计算资源约束函数表示如下:
分配给用户的计算资源须满足其数字孪生服务器的计算资源容量;式中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,fi,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源,Fj为部署在路边单元的边数字孪生服务器j的总计算资源;xi,k为用户i对部署在基站的数字孪生服务器的选择,fi,k为部署在基站的数字孪生服务器k分配给用户i的计算资源,Fk为部署在基站的数字孪生服务器k的总计算资源;
存储资源约束函数表示如下:
分配给用户的存储容量须满足其数字孪生服务器的存储容量;其中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,Ci,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量,Cj为部署在路边单元的数字孪生服务器j的总存储容量;xi,k为用户i对部署在基站的数字孪生服务器的选择,Ci,k为部署在基站的数字孪生服务器j分配给用户i的存储容量,Ck为部署在基站的数字孪生服务器k的总存储容量;
交互时间约束函数表示如下:
为了保证数字孪生及时为用户提供服务,对用户和数字孪生服务器的交互时间进行限制,τ为常数,设为交互时间的上限,每次用户与数字孪生服务器交互时间不超过τ。
更进一步地,结合***总的延迟和约束函数,基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略,具体地:将数字孪生模型的构建优化问题表述为MDP问题:M={S(t),A(t),R,S(t+1)};S(t)是当前***状态,A(t)是在t时刻采取的动作,R是奖励函数,S(t+1)是下一个状态;
所述的当前***状态包括用户的物理状态、数字孪生服务器的位置和关联关系;所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量;
所述的在t时刻采取的动作包括两个动作:第一个动作确定是否作为数字孪生服务器,第二个动作确定是否选择构建用户i的数字孪生模型;把每个基站和路边单元的边缘服务器作为智能体;上述的两个动作均为智能体的动作;
所述的奖励函数表示如下:
R=-Tsys
每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。
更进一步地,所述的基于actor-critic的深度强化学习方法由两部分组成:参与者网络、评论家网络;每个智能体通过参与者网络做出决策,每次训练的目标是最大化奖励的期望;
在算法训练过程中,首先,将所有参与者网络和评论家网络随机初始化训练参数;然后,对回放经验池进行初始化,在每一次训练中,智能体选择当前观察状态的动作,并获得当前动作的奖励;然后,获得新的***状态,并将经验存储到经验池;最后,智能体通过从经验池中采样来训练其评论家网络和参与者网络。
与现有技术相比,本发明的有益效果是:
1.目前许多研究只探索了如何将数字孪生来提高移动边缘计算***的性能,但是忽略了数字孪生中的运行状态与实际运行状态误差,同时很少考虑面对针对边缘网络中数字孪生的构建和维护机制。为了弥补这方面的空白,本发明提出了基于深度强化学习的方法寻找数字孪生的布局策略。
2.由于构建和维护数字孪生需要一定的计算资源以及存储容量,本发明考虑车流量对于通信资源和计算资源、存储资源的影响,因此基于车流量为用户提供基站和路边单元两种选择,基站具有丰富的计算资源和通信资源,而用户和路边单元的通信延迟更低。因此基于通信延迟和计算延迟优化分配数字孪生的放置。
附图说明
图1是本发明的流程图。
图2是本发明所述的数字孪生模型结构图。
图3是数字孪生辅助的边缘车联网***模型图。
具体实施方式
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体描述:
实施例1
在本实施例中,如图1所示,一种边缘车联网内数字孪生服务器动态部署方法,包括以下步骤:
设用户的集合为I,其中车辆i∈Ι,部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K;
根据获取边缘服务器的状态:信道状态、通信资源、计算资源;构建数字孪生的通信模型和计算模型;
在路边单元、基站上构建数字孪生模型,根据通信模型、计算模型计算在路边单元、基站构建数字孪生模型的延迟,并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟;
根据延迟和同步延迟计算***总的延迟;
根据用户的选择和数字孪生服务器的计算资源容量、存储容量约束,以及用户与数字孪生服务器的交互时间构建约束函数;
结合***总的延迟和约束函数,基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略;
所述的通信模型的构建方法如下:
根据香农定理,得到用户部署在路边单元的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器j分为给用的带宽,hi,j为用户i与数字孪生服务器j之间的信道增益,pi,j为用户i与数字孪生服务器j之间的传输功率,σ为高斯白噪声,di,j为用户i与数字孪生服务器j之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器j之间的物理距离对传输速率的影响;
得到用户与部署在路边单元的数字孪生服务器的数据传输速率后,计算用户与部署在路边单元的数字孪生服务器的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小;
用户与部署在基站的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器k分为给用的带宽,hi,k为用户i与数字孪生服务器k之间的信道增益,pi,k为用户i与数字孪生服务器k之间的传输功率,σ为高斯白噪声,di,k为用户i与数字孪生服务器k之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器k之间的物理距离对传输速率的影响;
用户i与部署在基站的数字孪生服务器k的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器k的数据大小;
所述的计算模型的构建方法如下:
数字孪生服务器j处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fij为数字孪生服务器j分配给用户i的CPU频率;
数字孪生服务器k处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fik为数字孪生服务器k分配给用户i的CPU频率。
本发明的工作原理:
由于维护数字孪生需要大量的资源消耗,在每个移动边缘计算服务器中构建数字孪生会导致传输负载、计算开销和能耗的大幅增加。为了解决这个问题,在边缘车联网的数字孪生网络中,不需要在每个基站中维护数字孪生,而是选择一个子集基站作为数字孪生服务器,以降低时间成本和能耗来维护数字孪生。因此考虑将基站分为两类基站,一类基站只处理用户卸载的服务,一类基站只负责维护用户的数字孪生。以此解决边缘车联网内数字孪生边缘服务器的选址问题。
本发明基于路面预测的车流量、基站与路面汽车实时动态变化的信道状态选择合适的部署在基站或者路边单元的边缘服务器作为数字孪生服务器,以提高用户与数字孪生服务的交互效率。
用户选择基站或路边单元的数字孪生服务器构建数字孪生模型,基于车流量选择基站或者路边单元,同时基于用户的地理位置、边缘服务器的信道状态、计算资源、存储空间考虑数字孪生服务的放置位置,以优化用户与数字孪生服务器的交互效率。以此解决数字孪生服务的放置问题。
在本实施例中,如图2、图3所示,数字孪生辅助的边缘车联网***模型,包括用户、路边单元、基站、云层;ITS控制中心通过路边单元、基站和用户构建通信连接,所述的路边单元和基站都设有边缘服务器;在云层,云服务器配备了大量的计算资源和存储资源,可以全局分析或者处理计算时延敏感的任务。
更具体的,所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗;
所述的通信资源包括带宽、传输功率。
在本实施例中,当车流量小时,由于基站的通信距离远远大于路边单元的通信距离,因此用户与路边单元的通信延迟小于基站的通信延迟;当车流量大时,由于路边单元的存储资源和计算资源小于基站的存储资源和计算资源,路边单元的容量满足不了用户的数字孪生模型和历史数据的存放,而且计算资源有限,大大增加了计算延迟。
实施例2
在本实施例中,用户确定目标数字孪生服务器后,用户的历史数据需要通过无线通信传输到目标数字孪生服务器,数字孪生服务器运行计算来处理和分析接收到的数据,并为用户界面构建数字孪生模型,在数字孪生计算过程中,采用人工智能相关算法提取数据特征,训练数字孪生模型。最后,数字孪生模型的结果通过无线通信传输回用户界面。反馈结果会为用户提供改善服务或者驾驶体验的建议;
在路边单元、基站构建数字孪生模型的延迟的计算方法如下:
用户在部署在路边单元的数字孪生服务器的构建数字孪生的延迟:
用户在部署在基站的数字孪生服务器的构建数字孪生的延迟:
用户构建数字孪生模型的延迟包含无线通信延迟和边缘服务器的计算延迟。
更具体的,在完成数字孪生的构建之后,用户需要不断与数字孪生服务器交互,使数字孪生的运行状态与用户的真实状态保持一致。用户需要发送实时数据给数字孪生服务器,然后数字孪生服务器接收数据进行计算;
在路边单元、基站构建数字孪生模型的同步延迟计算方法如下:
用户在部署在路边单元的数字孪生服务器的同步的延迟:
用户在部署在基站的数字孪生服务器的同步的延迟:
同步延迟包含无线通信延迟和边缘服务器的计算延迟。
更具体地,数字孪生模型的放置应考虑***的延迟性能和能耗,在***模型中,边缘关联是一个自适应过程,它随着动态网络状态的变化而变化,例如信道状态和网络状态的变化拓扑;总的***延迟表达为:
其中,T表示总时间;
需要在其延迟要求内为每个用户提供服务,如下所示:
需要满足的条件为在总的***延迟取最小的情况下,为每个用户提供服务。更具体的,所述的选择约束函数表示如下:
xj(t)∈{0,1},xk(t)∈{0,1}
限制用户在t时刻对路边单元和基站的选择;使用二进制参数xj和xk表示用户的选择,若xj为1,则选择路边单元放置数字孪生模型,否则为0;若xk为1,则选择基站放置数字孪生模型,否则为0;
所述的计算资源约束函数表示如下:
分配给用户的计算资源须满足其数字孪生服务器的计算资源容量;式中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,fi,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源,Fj为部署在路边单元的边数字孪生服务器j的总计算资源;xi,k为用户i对部署在基站的数字孪生服务器的选择,fi,k为部署在基站的数字孪生服务器k分配给用户i的计算资源,Fk为部署在基站的数字孪生服务器k的总计算资源;
所述的存储资源约束函数表示如下:
分配给用户的存储容量须满足其数字孪生服务器的存储容量;其中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,Ci,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量,Cj为部署在路边单元的数字孪生服务器j的总存储容量;xi,k为用户i对部署在基站的数字孪生服务器的选择,Ci,k为部署在基站的数字孪生服务器j分配给用户i的存储容量,Ck为部署在基站的数字孪生服务器k的总存储容量;
所示的交互时间约束函数表示如下:
为了保证数字孪生及时为用户提供服务,对用户和数字孪生服务器的交互时间进行限制,τ为常数,设为交互时间的上限,每次用户与数字孪生服务器交互时间不超过τ。
实施例3
在本实施例中,可用计算和通信资源在内的网络状态遵循马尔可夫性质;结合***总的延迟和约束函数,基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略,具体地:将数字孪生模型的构建优化问题表述为MDP问题:M={S(t),A(t),R,S(t+1)};S(t)是当前***状态,A(t)是在t时刻采取的动作,R是奖励函数,S(t+1)是下一个状态;
所述的当前***状态包括用户的物理状态、数字孪生服务器的位置和关联关系;所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量;
所述的在t时刻采取的动作包括两个动作:第一个动作确定是否作为数字孪生服务器,第二个动作确定是否选择构建用户i的数字孪生模型;把每个基站和路边单元的边缘服务器作为智能体;上述的两个动作均为智能体的动作;
所述的的奖励函数表示如下:
R=-Tsys
每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。
更具体的,所述的基于actor-critic的深度强化学习方法由两部分组成:参与者网络、评论家网络;每个智能体通过参与者网络做出决策,每次训练的目标是最大化奖励的期望;
在算法训练过程中,首先,将所有参与者网络和评论家网络随机初始化训练参数;然后,对回放经验池进行初始化,在每一次训练中,智能体选择当前观察状态的动作,并获得当前动作的奖励;然后,获得新的***状态,并将经验存储到经验池;最后,智能体通过从经验池中采样来训练其评论家网络和参与者网络。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种边缘车联网内数字孪生服务器动态部署方法,其特征在于,包括以下步骤:
设用户的集合为I,其中车辆i∈Ι,部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K;
根据获取边缘服务器的状态:信道状态、通信资源、计算资源;构建数字孪生的通信模型和计算模型;
在路边单元、基站上构建数字孪生模型,根据通信模型、计算模型计算在路边单元、基站构建数字孪生模型的延迟,并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟;
根据延迟和同步延迟计算***总的延迟;
根据用户的选择和数字孪生服务器的计算资源容量、存储容量约束,以及用户与数字孪生服务器的交互时间构建约束函数;
结合***总的延迟和约束函数,基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略;
所述的通信模型的构建方法如下:
根据香农定理,得到用户部署在路边单元的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器j分为给用的带宽,hi,j为用户i与数字孪生服务器j之间的信道增益,pi,j为用户i与数字孪生服务器j之间的传输功率,σ为高斯白噪声,di,j为用户i与数字孪生服务器j之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器j之间的物理距离对传输速率的影响;
得到用户与部署在路边单元的数字孪生服务器的数据传输速率后,计算用户与部署在路边单元的数字孪生服务器的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小;
用户与部署在基站的数字孪生服务器的数据传输速率:
式中,W为该数字孪生服务器k分为给用的带宽,hi,k为用户i与数字孪生服务器k之间的信道增益,pi,k为用户i与数字孪生服务器k之间的传输功率,σ为高斯白噪声,di,k为用户i与数字孪生服务器k之间的物理距离,θ为路径损耗;为用户i与数字孪生服务器k之间的物理距离对传输速率的影响;
用户i与部署在基站的数字孪生服务器k的通信延迟:
式中,Di,j(t)为在t时刻用户i传输给数字孪生服务器k的数据大小;
所述的计算模型的构建方法如下:
数字孪生服务器j处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fij为数字孪生服务器j分配给用户i的CPU频率;
数字孪生服务器k处理用户i数据的时间为:
式中,λt为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数,fik为数字孪生服务器k分配给用户i的CPU频率。
2.根据权利要求1中所述的一种边缘车联网内数字孪生服务器动态部署方法,其特征在于,所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗;
所述的通信资源包括带宽、传输功率。
6.根据权利要求5所述的一种边缘车联网内数字孪生服务器动态部署方法,其特征在于,选择约束函数表示如下:
xj(t)∈{0,1},xk(t)∈{0,1}
限制用户在t时刻对路边单元和基站的选择;使用二进制参数xj和xk表示用户的选择,若xj为1,则选择路边单元放置数字孪生模型,否则为0;若xk为1,则选择基站放置数字孪生模型,否则为0;
计算资源约束函数表示如下:
分配给用户的计算资源须满足其数字孪生服务器的计算资源容量;式中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,fi,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源,Fj为部署在路边单元的边数字孪生服务器j的总计算资源;xi,k为用户i对部署在基站的数字孪生服务器的选择,fi,k为部署在基站的数字孪生服务器k分配给用户i的计算资源,Fk为部署在基站的数字孪生服务器k的总计算资源;
存储资源约束函数表示如下:
分配给用户的存储容量须满足其数字孪生服务器的存储容量;其中xi,j为用户i对部署在路边单元的数字孪生服务器的选择,Ci,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量,Cj为部署在路边单元的数字孪生服务器j的总存储容量;xi,k为用户i对部署在基站的数字孪生服务器的选择,Ci,k为部署在基站的数字孪生服务器j分配给用户i的存储容量,Ck为部署在基站的数字孪生服务器k的总存储容量;
交互时间约束函数表示如下:
为了保证数字孪生及时为用户提供服务,对用户和数字孪生服务器的交互时间进行限制,τ为常数,设为交互时间的上限,每次用户与数字孪生服务器交互时间不超过τ。
7.根据权利要求6中所述的一种边缘车联网内数字孪生服务器动态部署方法,其特征在于,结合***总的延迟和约束函数,基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略,具体地:将数字孪生模型的构建优化问题表述为MDP问题:M={S(t),A(t),R,S(t+1)};S(t)是当前***状态,A(t)是在t时刻采取的动作,R是奖励函数,S(t+1)是下一个状态;
所述的当前***状态包括用户的物理状态、数字孪生服务器的位置和关联关系;所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量;
所述的在t时刻采取的动作包括两个动作:第一个动作确定是否作为数字孪生服务器,第二个动作确定是否选择构建用户i的数字孪生模型;把每个基站和路边单元的边缘服务器作为智能体;上述的两个动作均为智能体的动作;
所述的奖励函数表示如下:
R=-Tsys
每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。
8.根据权利要求7中所述的一种边缘车联网内数字孪生服务器动态部署方法,其特征在于,所述的基于actor-critic的深度强化学习方法由两部分组成:参与者网络、评论家网络;每个智能体通过参与者网络做出决策,每次训练的目标是最大化奖励的期望;
在算法训练过程中,首先,将所有参与者网络和评论家网络随机初始化训练参数;然后,对回放经验池进行初始化,在每一次训练中,智能体选择当前观察状态的动作,并获得当前动作的奖励;然后,获得新的***状态,并将经验存储到经验池;最后,智能体通过从经验池中采样来训练其评论家网络和参与者网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210904376.XA CN115209426B (zh) | 2022-07-28 | 2022-07-28 | 一种边缘车联网内数字孪生服务器动态部署方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210904376.XA CN115209426B (zh) | 2022-07-28 | 2022-07-28 | 一种边缘车联网内数字孪生服务器动态部署方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115209426A CN115209426A (zh) | 2022-10-18 |
CN115209426B true CN115209426B (zh) | 2023-06-09 |
Family
ID=83584429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210904376.XA Active CN115209426B (zh) | 2022-07-28 | 2022-07-28 | 一种边缘车联网内数字孪生服务器动态部署方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115209426B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115604725B (zh) * | 2022-11-03 | 2024-04-19 | 中国联合网络通信集团有限公司 | 一种传播损耗的确定方法、装置及存储介质 |
CN115843042B (zh) * | 2022-11-14 | 2024-04-09 | 湘潭大学 | 一种边缘网络中基于双边匹配的数字孪生构建方法 |
CN116389256B (zh) * | 2023-04-11 | 2023-09-19 | 广东云百科技有限公司 | 基于边缘计算的新能源汽车车联网*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103096412A (zh) * | 2013-01-10 | 2013-05-08 | 上海交通大学 | 延迟容忍网络中带时延约束的数据融合方法 |
CN105376157A (zh) * | 2015-11-22 | 2016-03-02 | 东北大学 | 一种路由路径选择的方法和装置 |
CN110377353A (zh) * | 2019-05-21 | 2019-10-25 | 湖南大学 | 计算任务卸载***与方法 |
CN111124531A (zh) * | 2019-11-25 | 2020-05-08 | 哈尔滨工业大学 | 一种车辆雾计算中基于能耗和延迟权衡的计算任务动态卸载方法 |
-
2022
- 2022-07-28 CN CN202210904376.XA patent/CN115209426B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103096412A (zh) * | 2013-01-10 | 2013-05-08 | 上海交通大学 | 延迟容忍网络中带时延约束的数据融合方法 |
CN105376157A (zh) * | 2015-11-22 | 2016-03-02 | 东北大学 | 一种路由路径选择的方法和装置 |
CN110377353A (zh) * | 2019-05-21 | 2019-10-25 | 湖南大学 | 计算任务卸载***与方法 |
CN111124531A (zh) * | 2019-11-25 | 2020-05-08 | 哈尔滨工业大学 | 一种车辆雾计算中基于能耗和延迟权衡的计算任务动态卸载方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115209426A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115209426B (zh) | 一种边缘车联网内数字孪生服务器动态部署方法 | |
CN109391681B (zh) | 基于mec的v2x移动性预测与内容缓存卸载方案 | |
CN111031102B (zh) | 一种多用户、多任务的移动边缘计算***中可缓存的任务迁移方法 | |
Tian et al. | CoPace: Edge computation offloading and caching for self-driving with deep reinforcement learning | |
CN111124647B (zh) | 一种车联网中的智能边缘计算方法 | |
CN109068391B (zh) | 基于边缘计算和Actor-Critic算法的车联网通信优化算法 | |
CN111711666B (zh) | 一种基于强化学习的车联网云计算资源优化方法 | |
CN109951869A (zh) | 一种基于云雾混合计算的车联网资源分配方法 | |
CN111182048B (zh) | 一种基于区块链使能的群智感知的智能交通管理方法 | |
CN109831522A (zh) | 一种基于smdp的车联云雾***动态资源优化管理***和方法 | |
CN114973673B (zh) | 车路协同***中结合noma和内容缓存的任务卸载方法 | |
CN114827191B (zh) | 一种车路协同***中融合noma的动态任务卸载方法 | |
CN115297171B (zh) | 一种蜂窝车联网分级决策的边缘计算卸载方法及*** | |
Zheng et al. | Digital twin empowered heterogeneous network selection in vehicular networks with knowledge transfer | |
CN114626298A (zh) | 无人机辅助车联网中高效缓存和任务卸载的状态更新方法 | |
CN114650567A (zh) | 一种无人机辅助v2i网络任务卸载方法 | |
CN115629873A (zh) | 车路云协同任务卸载与任务队列稳定性控制***和方法 | |
Qi et al. | Social prediction-based handover in collaborative-edge-computing-enabled vehicular networks | |
CN117221951A (zh) | 车载边缘环境下基于深度强化学习的任务卸载方法 | |
Ge et al. | Interference aware service migration in vehicular fog computing | |
He et al. | A DDPG hybrid of graph attention network and action branching for multi-scale end-edge-cloud vehicular orchestrated task offloading | |
CN114980127B (zh) | 雾无线接入网中基于联邦强化学习的计算卸载方法 | |
Fu | Optimization of caching update and pricing algorithm based on stochastic geometry theory in video service | |
CN114928893B (zh) | 一种基于智能反射面的架构及任务卸载方法 | |
Fan et al. | Deep Reinforcement Learning-Based Task Offloading for Vehicular Edge Computing With Flexible RSU-RSU Cooperation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |