CN117412262A - 一种urllc感知的空地车联网协同计算问题解耦方法 - Google Patents

Abstract

本发明公开了一种支持URLLC感知的空地车联网协同计算问题的解耦方法。该方法聚焦于无人机(UAV)、路边单元基站(RSU)、合作车辆(CV)和用户车辆(UV)构成的网络，致力于优化无人机轨迹、卸载决策和计算资源。通过位置信息和OFDMA信道模型，计算UV与服务器传输速率，结合UV任务缓冲队列和URLLC通信需求制定约束条件。利用李雅普诺夫优化理论将URLLC约束转化为虚拟队列稳定问题，同时解耦总问题。解耦后的问题包括卸载决策、无人机轨迹和信道资源分配的传输延迟优化，以及服务器计算资源分配的优化。第一个子问题通过多智能体深度强化学习解决，另一问题采用贪婪算法求解。该发明将长期任务卸载问题转化为短期优化问题，有效应对动态空间下的优化挑战。

Description

一种URLLC感知的空地车联网协同计算问题解耦方法

技术领域

本发明涉及空地车协同计算网络领域，具体为URLLC感知的空地车联网协同计算问题解耦方法

背景技术

随着5G和车联网(IoV)技术的飞速发展，汽车已经从单纯的交通工具演变为人类的移动生活空间。这种转变催生了自动驾驶和在线娱乐等个性化服务。随着新应用的出现，车辆处理的任务变得越来越复杂，并且通常对自动驾驶等低延迟要求严格，这使得仅依靠车辆的车载处理能力是不够的。

利用空地车辆协同计算网络(AVC²N)有望解决上述问题。该网络由放置在道路旁拥有较多计算资源的路边单元(RSU)，周围拥有闲置资源提供车辆协同计算(VCC)的车辆和部署灵活、成本可控，可以极大地扩大网络覆盖范围的无人机共同组成。

现存关于空地车辆协同计算网络中任务卸载的研究工作较少考虑如今5G快速发展引发的URLLC通信要求，同时也缺少对***总体延迟的考虑。本发明提出URLLC感知的空地车联网协同计算问题解耦方法，可以联合优化无人机轨迹，卸载决策和资源分配并达到***总延迟最低。

发明内容

本发明公开了一种支持URLLC感知的空地车联网协同计算问题的解耦方法。本发明主要针对由UAV，RSU，CV和UV组成的空地车协同计算网络中的无人机轨迹，卸载决策和计算资源优化，所述方法的步骤如下：步骤一、根据UV、CV、UAV和RSU的位置信息和正交频分多址的信道模型给出UV与各个服务器之间的传输速率表达式，利用UV任务缓冲队列结合URLLC的通信要求推导出URLLC的三个约束条件公式，综合端到端延迟描述***总延迟最小化的任务卸载，无人机轨迹规划和资源分配问题；步骤二、利用李雅普诺夫优化理论，将URLLC约束转化为虚拟队列稳定问题，进一步将长短期优化耦合的总问题转化为一系列短期可决策的最小化漂移加惩罚的问题；步骤三、根据优化变量将总问题解耦为卸载决策，无人机轨迹和信道资源分配相结合的传输延迟优化与服务器侧计算资源分配优化两个子问题；步骤四、解耦后的问题1由于其信息不确定性可利用基于多智能体深度强化学习的方法解决，问题2利用贪婪算法求解。

本发明提出的空地车辆协同计算网络(AVC²N)包含K个CV，N个RSU，M个UAV和I个UV。假设无人机可以利用OFDMA与UV进行通信。同时假设接收机可以补偿无人机机动性造成的多普勒效应。因此，UAV的卸载速率可以表示为

其中，B₀(t)指本时隙的总信道带宽；υ_i(t)表示分配给UV i的信道资源比例；指UV发射功率；g₀指UV对UAV的功率增益；d_i,j(t)表示UV i与UAV j之间的三维距离；/>为噪声功率。CV和RSU的卸载速率为

UV本地缓冲队列的更新公式为

Q(t+1)＝max{Q(t)+τA(t)-W(t),0}

其中，A(t)为任务的到达率；W(t)为卸载任务量。根据URLLC通信的要求，设定队列出现的超额积压量为

其中，为UV所能容忍的最大队列延迟。根据超额积压出现的概率，超额积压的均值和方差这三项指标，给出URLLC的三条约束

其中，ε表示可容忍的极端积压发生的概率；σ^max和ξ^max用来约束超额积压的均值和方差。综合端到端的上传，计算，反馈延迟和能耗，给出***中所有UV的任务卸载的***成本之和为

其中包含了UV i在t时隙内上传，计算，反馈和切换卸载服务器所需要的延迟；

***总延迟最小化的任务卸载，无人机轨迹规划和资源分配问题可描述如下：

C₃：β_i，j(t)∈(0，1)j∈[1，K+M+N]

C₅：υ_i(t)∈(0，1)i∈[1，I]

C₇-C₉：无人机飞行约束

C₁₀-C₁₂：URLLC约束

其中，优化目标为任务卸载决策，无人机轨迹规划和频谱和计算资源分配；C₁和C₂指卸载决策约束，C₃和C₄为计算资源分配约束，C₅和C₆为信道资源分配约束，C₇到C₉为无人机飞行约束，C₁₀到C₁₂为URLLC约束。

该问题求解可以划分为以下几步：

1)为了处理URLLC约束C₁₀到C₁₂，建立三个虚拟队列如下： 和/>

2)随后定义依次构造李雅普诺夫函数与漂移加惩罚函数如下：

进一步推导Δ_VL[Θ(t)]的上界并将原始问题转化为如下单时隙优化问题：

s.t.C₁～C₉

3)根据优化变量将总问题解耦为两个子问题。其中子问题1是卸载决策，无人机轨迹和信道资源分配相结合的传输延迟优化，可描述为：

s.t.C₁,C₂,C₅～C₉

问题2是服务器侧计算资源分配优化，描述为：

s.t.C₃,C₄

4)子问题1由于无人机的飞行，存在信息不确定性。传统方法难以求解，因此可采用基于多智能体深度强化学习的方法求解。将UAV，UV和通信运营商设置为智能体，分别学习飞行位置，卸载决策和频谱分配，并最终得到总奖励最大化的最优解。

5)子问题2是边缘服务器为其服务的各个UV分配计算资源以最大化目标函数，在此可以通过贪婪算法求解，即优先将边缘侧的可用资源分配给能最大化目标函数的终端，直到所有计算资源都被分配完。

6)依次按照上述方法求解两个子问题，获得***在本时隙内的多维优化策略，之后按照队列更新下一时隙任务积压，进而求解下一时隙的优化问题，该方法不断循环直到优化时间结束。

本发明的技术方法具有以下优点：

首先，本发明综合考虑了空地车协同计算网络中的任务卸载，无人机飞行轨迹和资源分配，以达到满足URLLC约束下的***总延迟最小化。其次，利用李雅普诺夫优化有效地将具有URLLC约束的长期队列任务卸载问题转化为短期时隙内优化问题，解耦后利用高效的方法解决动态空间下的优化问题。最后，该方法可以在每个时隙内做出多维优化变量的策略，并合理控制***总延迟。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更加明确地阐述本发明实施例或现有技术中的技术方法，以下将简要介绍这些实施例的附图。需要明确的是，下文描述的附图仅代表了本发明的一些实施例，对于这一领域的专业人员来说，可以根据这些附图获得其他附图，而无需进行创造性的工作。

图1为***平均延迟相对时隙的变化曲线。

图2为本地排队延迟相对时隙的变化曲线。

图3为超额积压量相对时隙的变化曲线。

具体实施方式

本发明提出了一种URLLC感知的空地车联网协同计算问题解耦方法，下面结合附图，对实施例作详细说明。

本发明的具体实施场景为北京某真实道路仿真场景。考虑在双向四车道的路上，存在6个UV和3个CV，其行驶速度随机分布在[50,70]km/h内。同时包含初始位于道路两端上空40m的2架UAV和部署在路侧的一个RSU。

本发明的仿真时间维度为200，每个时隙的长度为0.1s，本发明的方法在每个时隙执行并获得优化结果。仿真参数如下选取：UV每时隙的任务到达量为[2,2.5]或[0.5,1.5]MB；UV上传和服务器反馈的发射功率为20dBm；信道的功率增益为-50dB；噪声功率为-100dB；每个时隙总可用信道带宽为50MHz；CV，UAV，RSU的计算资源分别分布在[30,70]GHz，[130,170]GHz，[230,270]GHz；反馈数据与上传数据的比例为0.2；最大容忍队列延迟为0.1s；切换成本为0.25s；计算一位数据需要1000个CPU周期；V值为10³。

具体实施的步骤如下：

1)根据场景中的UV,CV,UAV和RSU的分布计算网络内的卸载速率，并生成所需的实施参数。

2)对于任一时隙，根据解耦后子问题1的目标函数与约束条件，通过多智能体深度强化学习的方法获得UAV最佳飞行位置，UV的卸载决策和信道分配策略。

3)建立子问题2并通过贪婪算法求解出每个服务器对卸载至其的UV所分配的计算资源比例。

4)根据该时隙的优化结果更新UV队列积压。

5)上述优化方法在每个时隙执行，直到优化时间结束。

图1展示了***总延迟相对时隙的变化，曲线呈平稳趋势稍有波动，原因是车辆每时隙到达任务量，相对边缘服务器的位置距离均有不同程度的变化，使卸载延迟有所波动。从方法间的对比看来，本发明方法的***延迟明显低于另外两种方法，这是因为提出的方法联合优化了卸载决策，无人机飞行轨迹优化和频谱，计算资源分配，从而实现了最优的延迟性能。数值结果表明，当时隙为50时，本发明方法的延迟分别是无无人机飞行优化方法与无资源分配方法的27.33％与55.20％。

图2和图3分别展示了本地平均排队延迟和本地超额积压量随时隙的变化，可见通过本发明的方法进行优化之后，队列能够保持在较低的积压和延时水平，没有持续增加的队列积压出现，可以有效的保障URLLC。由于合理的综合策略，本发明方法的排队延迟和超额积压量显著低于另外两种方法。数值结果表明，相比无无资源分配策略的方法，提出方法分别在排队延迟和超额积压量上平均降低了82.41％和88.58％。相比无无无人机飞行优化的方法，平均降低了92.68％和97.80％。

上述陈述仅代表了此公开的首选实施方式以及对所使用技术原理的解释。对于在这一领域工作的技术专业人员来说，需要明确的是，本文所揭示的发明范围并不仅限于上述技术特征的具体组合，而是包括了其他技术方法，只要这些方法不背离本文所提出的发明概念。换句话说，通过任意组合上述技术特征或具有类似功能的特征来构建不同的技术方法，而不必局限于特定的组合方式也应涵盖在本发明内。例如上述特征与本公开中公开的(但不限于)具有类似功能。

Claims (4)

1.本发明公开了一种支持URLLC感知的空地车联网协同计算问题的解耦方法，主要针对由UAV，RSU，CV和UV组成的空地车协同计算网络中的无人机轨迹，卸载决策和计算资源优化。所述方法的步骤如下：

步骤1、根据UV、CV、UAV和RSU的位置信息和OFDMA的信道模型给出UV任务卸载信道的传输速率表达式，利用UV任务缓冲队列结合URLLC的通信要求推导出URLLC的三个约束条件公式，综合端到端延迟描述***延迟最小化的任务卸载，无人机轨迹规划和资源分配问题；

步骤2、利用虚拟队列将URLLC约束转化为虚拟队列稳定问题，随后构造李雅普诺夫函数与漂移加惩罚函数，进一步将长短期优化耦合的总问题转化为一系列短期可决策的漂移加惩罚的最小化问题；

步骤3、根据优化变量将转化后的时隙内可解决问题解耦为1)卸载决策，无人机轨迹和信道资源分配相结合的传输延迟优化2)服务器侧计算资源分配优化这两个子问题；

步骤4、解耦后的问题1由于其信息不确定性可利用基于多智能体深度强化学习的方法解决，问题2利用贪婪算法进行求解，最终获得原始问题的最优解决方案。

2.根据权利要求1所述的面向空地车联网协同计算问题的解耦方法，步骤1中***延迟最小化的任务卸载、无人机轨迹规划和资源分配问题可描述如下：

C₃：β_i，j(t)∈(0，1)j∈[1，K+M+N]

C₅：υ_i(t)∈(0，1)i∈[1，I]

C₇-C₉：无人机飞行约束

C₁₀-C₁₂：URLLC约束

其中，i∈[1，I]代表I个UV中的第i个，j∈[1，K+M+N]指K+M+N个服务器中的第j个，其中j＝1，2，…，K对应K个CV，j＝K+1，K+2，…，K+M代表M个UAV，j＝K+M+1，K+M+2，…，K+M+N指代N个RSU，t代表时隙编号；T_i(t)为t时隙终端i的总延迟，是由端到端上传，计算，反馈，切换延迟组成；指UV在一个时隙的卸载决策；/> 指无人机的位置坐标；/> 计算资源分配策略，β_i，j(t)表示服务器j分配给UV i的计算资源比例；/>表示信道资源分配策略，υ_i(t)表示UV i所分配到的信道资源比例；C₁和C₂指卸载决策约束，b_i，j(t)＝1表示t时隙UV i选择卸载任务至服务器j，且每个时隙UV最多选择一个服务器；C₃和C₄为计算资源分配约束，服务器给一台UV分配的计算资源与总计算资源的比值在(0，1)之间，且分配给所有UV的资源比例之和小于等于1；C₅和C₆为信道资源分配约束，一台UV分配到的信道资源与总信道带宽的比值在(0，1)之间，且分配给所有UV的资源比例之和小于等于1；C₇到C₉为无人机飞行约束，限制UAV的飞行边界和每个时隙最大的飞行距离，同时考虑防止无人机碰撞的最小距离。C₁₀到C₁₂为URLLC约束，分别表示对UV侧出现超额积压概率的约束和对超额积压的数学均值，方差的约束。

3.根据权利要求2所述***延迟最小化问题，其求解步骤为：

首先，基于李雅普诺夫优化理论将原始问题变换为如下最小化漂移加惩罚函数的短期优化问题：

s.t.C₁～C₉

其中，Q_i(t)表示UV本地缓冲队列积压的任务量和/>分别指队列积压，超额积压均值和超额积压方差的虚拟队列量；V指权衡队列稳定与***总延迟的参数；其次，通过区分优化变量的方式将问题解耦为1)卸载决策，无人机轨迹和信道资源分配相结合的传输延迟优化2)服务器侧计算资源分配优化；最后，求解两个子问题，问题1利用基于多智能体深度强化学习的方法解决，问题2利用贪婪算法进行求解。

4.按照所述方法能够有效地将具有URLLC约束的长期队列任务卸载问题转化为短期时隙内优化问题，并利用高效的方法解决动态空间下的优化问题。