CN114980339B - 基于可变时隙调度的c-v2x多业务下行资源分配方法 - Google Patents

Abstract

本发明公开一种基于可变时隙调度的C‑V2X多业务下行资源分配方法，应用于移动通信技术领域，针对现有技术难以保证车联网动态变化的场景下多种不同需求的业务传输服务质量的问题；本发明以最大化低优先级业务传输服务质量为目标，采用抢占方式分配下行信道资源，并且根据业务到达情况和车辆在小区内的逗留时间，基于DDPG算法确定时频资源的预分配和抢占策略，在URLLC业务时延门限的约束下，提高eMBB业务的成功发送概率。

Description

基于可变时隙调度的C-V2X多业务下行资源分配方法

技术领域

本发明属于移动通信技术领域，特别涉及一种车联网中时频资源联合调度技术。

背景技术

近年来，随着5G车联网的发展，自动驾驶、远程驾驶等高级应用的实现成为可能。但与此同时，网络资源调度需要保证自动驾驶等强实时性业务的毫秒级时延需求。另外，在大规模车辆接入的情况下，网络资源匮乏容易引起信道拥堵。传统的资源调度策略难以满足新型车联网用例的标准，设计更灵活、更高效的智能车联网资源调度策略对提升5G车联网的性能具有重要意义，同时也给研究者们带来了更多的挑战。

3GPP在Rel-16中引入了基于5G新空口(5G New Radio，5G NR)的V2X标准，即NRV2X。NR中的新特性提供了一些有用的解决方案。5G NR中，根据参数集的设置，可以支持不同的时隙格式。已有一些研究证明了可变的时隙格式在蜂窝网络中发挥的作用，但基于NR新技术优化车联网资源调度策略的研究还比较少。

车联网中存在多种不同需求的业务，如传感信息共享等大流量业务，需要长时间占用高带宽；安全告警等时延关键信息则需要保证极低的时延。如果采用传统切片的策略为安全信息预留信道，由于告警信息到达的随机性和稀疏性，这部分信道会长期空闲浪费，只有在保证关键业务时延需求的同时，使更多信道用于大流量业务的传输，才能最大化时频资源利用效率。与此同时，车联网场景中车辆用户具有移动性，在同一小区内逗留的时间有限，如果能在设计资源分配策略时考虑到车辆逗留时间，保证业务在同一小区内传输完成，则能够减少不必要的连接中断或切换。综上所述，如何使NR新技术与车联网环境特性有机结合，设计更符合车联网特性的智能资源调度策略，还需要进一步的研究。

发明内容

为解决上述技术问题，本发明提出一种基于可变时隙调度的C-V2X多业务下行资源分配方法，在保证URLLC业务成功发送的条件下，以最大化低优先级的eMBB业务成功发送概率为目标，采用分配-抢占方式分别为eMBB业务和高优先级URLLC业务分配下行信道资源，并且根据业务到达情况和车辆在小区内的逗留时间，在业务时延门限的约束下动态进行时频资源的预分配和抢占策略，减小被业务传输中断的概率。

本发明采用的技术方案为：基于可变时隙调度的C-V2X多业务下行资源分配方法，根据基站覆盖范围将道路划分为若干区间；

对小区内车辆与基站之间的通信，在每个时隙开始时，如果没有待处理的URLLC业务则将整个时隙分配给eMBB业务，在eMBB业务传输过程中有URLLC业务到达时，则在超短时隙的时间尺度抢占已被分配给eMBB业务的资源。

还包括：小区实时监测车辆用户在小区内的逗留时间，根据用户的逗留时间、eMBB或URLLC业务的数据量需求以及信道资源，估算eMBB或URLLC业务能够在小区内完成传输的概率，通过最大化eMBB业务成功发送概率与URLLC业务成功发送概率，构建优化问题，并利用DDPG算法求解得到最优的eMBB业务资源分配策略和URLLC业务资源抢占策略。

本发明的有益效果：在不同的时隙粒度下为eMBB业务和URLLC业务分配时频资源，在每个时隙预分配时频资源以最大化eMBB业务的传输速率，并在超短时隙的尺度执行资源抢占以满足随机到达的URLLC业务的时延门限。资源预分配和抢占考虑了车辆的移动性和车辆用户在小区内的逗留时间，最后基于DDPG算法确定了预分配和重分配的最优策略，能够在满足URLLC业务QoS需求的前提下，提升eMBB业务的成功发送比例，并且在车辆远离基站的场景下，eMBB业务QoS提升更加显著；本发明的方法包括以下优点：

1、本发明在正在传输数据的时隙中穿插临时短报文，不会有额外干扰，只需要额外的控制消息。在每个时隙开始时，如果没有待处理的URLLC业务则将整个时隙分配给eMBB业务，满载传输最大化吞吐量。在eMBB业务传输过程中有URLLC业务到达时，则会在超短时隙的时间尺度抢占已被分配给eMBB业务的资源，以保证关键业务的实时性。

2、小区会实时监测车辆用户在小区内的逗留时间。根据用户的逗留时间、业务的数据量估算业务成功发送的概率。通过奖励函数的特殊设计，DDPG算法得到的策略会倾向于牺牲一部分难以在小区内完成传输的业务的传输速率，使得更多用户能够在离开小区前完成数据传输，减少连接中断，提升eMBB业务的成功发送概率。

附图说明

图1为本发明的基于可变时隙调度的C-V2X多业务下行资源分配方法流程示意图；

图2位本发明C-V2X多业务下行资源分配方法场景示意图；

图3为本发明在不同时隙粒度下的抢占式资源调度示意图。

具体实施方式

为了便于本领域的普通技术人员理解本发明，首先对本发明中涉及的技术术语做出如下定义：

小区：基站覆盖区域，在区域内车辆用户可以通过无线信道可靠地与基站进行通信。

超短时隙：5G NR允许时延敏感信息的发送从一个时隙的持续过程中开始，此时的调度周期(如2个OFDM符号)则称为超短时隙。

时频资源块：业务在子频带上传输一个最小调度周期时间，则称为被分配了一个资源块。

车辆用户逗留时间：从当前时刻到车辆驶离小区服务范围的时间。

业务剩余服务时间：V2I业务对应的车辆用户当前的逗留时间。

成功发送：衡量业务传输服务质量的指标。对于URLLC业务，指在一个超短时隙完成传输；对于eMBB业务，指在车辆离开小区之前完成传输。

为便于本领域技术人员理解本发明的技术内容，下面结合附图1-3对本发明内容进一步阐释。

如图1所示，本发明的一种车联网场景下基于可变时隙调度的多业务下行资源分配方法，包括以下步骤：

S1、获取基站位置、车辆用户的位置和速度信息，生成并记录车辆的行驶轨迹和在小区内的逗留时间；

S2、获取环境信息，并根据S1中基站、车辆用户的位置信息，计算每个时隙车辆用户到基站的各信道增益；

S3、周期性获取业务信息，生成并维护业务队列矩阵；

S4、对抢占式资源分配策略进行建模，在保证URLLC业务实时性的条件下，以最大化eMBB业务在小区内完成传输的比例为目标，提出优化问题模型。

S5、基于步骤S4中的模型构建马尔科夫过程；

S6、利用DDPG算法训练强化学习模型。

在步骤S1中，为减小计算量，本发明将小区道路划分为离散的区域并进行编号，周期性获取到达车辆信息，并将车辆在小区内的行进轨迹表示为记录区域编号的时间序列。

步骤S1具体包括以下分步骤：

S11、如图2，将道路划分为离散的区域并编号为1，2，...，d，...D，D为小区中道路总长度。假定每个区域内的信道参数保持不变；

S12、以时隙为时间间隔，利用记录区域编号的时间序列表示车辆用户的移动轨迹。

所述步骤S12中，编号为0表示车辆未进入或已驶离小区范围。

在步骤S2中，根据步骤S1中对道路区域的划分，计算各区域到基站的信道增益。

步骤S2具体根据信道参数计算出区域关联矩阵，表示各区域到基站的信道增益，并得到频谱效率为：

其中φ_u，t表示用户u在时隙t占用的带宽，p是基站发射功率，h_u，t为小尺度信道衰落因子，D_d是道路区域d与基站之间的距离，α是路径损耗指数，σ²为随机高斯噪声功率。

在步骤S3中，小区调度中心会周期性收集业务到达信息，并维护一个业务信息队列矩阵。

步骤S3具体包括以下分步骤：

S31、小区调度中心在每一调度时刻收集当前业务请求；每一条业务信息具体包括：业务序号、业务到达时间、用户编号、业务类型、总数据量、时延门限、剩余服务时间、实际传输时间以及剩余数据量。

S32、生成并维护一个业务队列矩阵；具体包括以下分步骤：

S321、按顺序为当前到达的业务编号u，并记录业务到达时间发起请求的用户编号m；

S322、记录业务的QoS需求，包括业务类型f＝{B，u}、总数据量、时延门限/>

S323、根据步骤S1中车辆轨迹信息，得到业务剩余服务时间为当前车辆在小区内的剩余逗留时间；

S324、对当前时刻到达的业务，将实际传输时间置为剩余数据量置为

S325、对当前时刻之前到达的业务，若剩余数据量不为0则更新其实际传输时间为/>其中t₀为调度周期，同时更新剩余数据量/>

在步骤S4中，如图3，在每个时隙开始时，***会将资源块预分配给当前业务队列中的eMBB业务。同时，为确保URLLC业务的超低时延需求能够得到满足，在eMBB业务传输过程中有URLLC业务到达时，则会在超短时隙的时间尺度抢占已被分配给eMBB业务的资源。

步骤S4具体包括以下分步骤：

S41、通过资源块分配矩阵表示资源调度策略。eMBB业务的资源调度以时隙为周期，URLLC业务的资源调度以超短时隙为周期。若当前时刻处于时隙开始时，则将该时隙内资源块预分配给队列中的业务，定义资源块分配矩阵表示eMBB用户u_B在时隙t分得资源块的比例。则用户u_B被分配的带宽可以表示为

式中，对向下取整以保证分得资源块为整数，W表示***中子信道数量，b表示子信道带宽；

S42、若当前有URLLC业务到达，无论是否处于时隙开始时刻，直接抢占已分配给eMBB业务的资源。定义抢占矩阵代表用户u_L在超短时隙k抢占用户u_B资源块的比例，则抢占的带宽为

S43、计算URLLC业务的传输速率，业务u_L在时隙k得到的总带宽为

传输速率可以表示为

S44、计算eMBB业务的数据速率，u_B损失的带宽为

假设***中传输速率符合线性损失模型，则u_B传输速率为

S45、为权衡多种业务QoS需求，在保证URLLC业务成功发送的条件下，以最大化eMBB业务在小区内成功发送的比例为目标，提出优化问题。

eMBB业务和URLLC业务的主要目标分别是在车辆驶离小区之前完成发送和保证在一个超短时隙内完成发送。分别定义两种业务的成功发送概率为

其中，表示业务u_B的剩余服务时间，/>表示剩余数据量，a为一个极小常数，一般取值为千分之一。/>的值表示按照当前传输速率，该业务能在车辆驶离小区前传输的数据比例，以此估算业务在车辆驶离小区前传输完成的概率。/>表示在超短时隙k中到达用户u_L的需求流量大小，/>则表示URLLC业务能够在时延门限内传输完成。

为权衡多种业务QoS需求，优化目标设置为同时最大化两组用户成功发送概率，优化问题如下

其中，约束2为单个业务分配资源块数量限制；约束3为***总资源块分配限制；约束4为每个eMBB用户被抢占资源块数量限制，K_t表示t时隙中所有超短时隙的集合。

优化目标写成对数形式可以减小部分业务QoS过度满足对优化目标的影响，进一步保证各个业务的公平。优化问题可以写成

其中，M为大数，一般取值为1000。只有所有URLLC业务成功发送，保证有否则会得到一个很大的惩罚值。而将eMBB业务的成功发送概率函数写成对数形式后，以高速率提前完成的业务就不会对优化目标产生过多影响，而尽可能使更多业务发送成功。

在步骤S5中，上述步骤S4中问题被建模成马尔科夫决策问题。

步骤S5具体包括以下分步骤：

S5状态空间S：在每一个时隙t进行一次决策，则t时刻进行决策时***的状态可以表示为

其中表示当前信道状态；

动作空间A：由于每个被抢占资源的eMBB业务u_B只关心有多少个资源块被抢占，而并不关心被哪个URLLC业务抢占，因此步骤S42中覆盖矩阵的参数可以等效替换为用来表示业务u_B在超短时隙k内被抢占的资源块之和与u_B占用的总资源块的比值。

同理和/>也可以改写为

则t时刻的动作可以定义为

当前奖励r：在决策时刻t，动作网络观察到状态s_t∈S时，遵循策略μ(s_t|θ^μ)实施动作然后收到奖励r(s_t，a_t)，状态转移到s_t+1。则根据步骤S45中优化问题，奖励函数可以定义为：

对数形式的奖励函数可以使的网络学习得到的策略倾向于更多业务成功发送，而不是使一部分业务得到远超需求的传输速率。

动作网络的目标是学***衡当前奖励与长期回报的衰减因子。

根据eMBB业务u_B的成功发送概率表达式，当u_B在小区内传输完成时，剩余数据量/>取极大值。在保证URLLC业务可靠性的条件下，/>与当前奖励呈正相关。

在车辆远离基站，即将驶离小区范围的场景下，业务很难在小区内完成传输。根据长期回报函数此时成功发送并得到更高的奖励值会使长期回报函数的值极大提升。当此时有多个eMBB业务在队列中时，通过资源预分配和抢占，为剩余数据量较多且难以完成传输的业务分配更低的传输速率，反之，为更有可能成功发送的业务分配更多资源，可以得到更高的长期回报。

基于上述策略，神经网络因此倾向于得出成功发送概率更高的策略。步骤S6具体包括以下分步骤：

S61、输入当前动作网络，目标动作网络，当前评价网络，目标评价网络，参数分别为θ^Q，θ^Q′，θ^μ，θ^μ，衰减因子η，软更新速率w，批量梯度下降的样本集合D，最大迭代次数T，随机噪声函数Z，随机初始化θ^Q，θ^μ，令θ^μ′＝θ^μ，θ^Q′＝θ^Q，清空经验回放集合M。

初始化训练轮次ep＝0；

S62、初始化时刻t＝0；

S63、根据当前状态s_t执行动作a_t＝μ(s_t|θ^μ)+Z_t，计算奖励r(s_t，a_t)和下一状态s_t+1；

S64、将训练集(s_t，a_t，r(s_t，a_t)，s_t+1)存入经验池M；

S65、判断是否满足t＜T，T为ep轮次的总决策次数，若是则t＝t+1，返回S63，若不是则进入S66；

S66、从经验池M中采样D个样本，发送到当前Actor网络，目标Actor网络，当前Critic网络，目标Critic网络。用m表示存放在经验池M中的训练集(s_t，a_t，r(s_t，a_t)，s_t+1)；

其中，rank(m)表示状态转移矩阵m的优先级，α∈[0，1]反映了采样偏向高优先级的强度；

S67、通过最小化损失函数来更新当前网络参数θ^μ、θ^Q；

S68、利用当前Actor网络参数θ^μ更新目标Actor网络中参数θ^μ′，利用当前Critic网络参数θ^Q更新目标Critic网络中参数θ^Q′；

S69、判断是否满足轮次ep＜EP，EP为总训练轮次，若是，则ep＝ep+1，返回S62，若不是，则结束迭代，得到训练完成的强化学习模型。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (3)

1.基于可变时隙调度的C-V2X多业务下行资源分配方法，其特征在于，根据基站覆盖范围将道路划分为若干区域；

对小区内车辆与基站之间的通信，在每个时隙开始时，将整个时隙分配给eMBB业务，在eMBB业务传输过程中有URLLC业务到达时，则在超短时隙的时间尺度抢占已被分配给eMBB业务的资源；

还包括：

小区基站实时监测车辆用户在小区内的逗留时间；

根据用户的逗留时间、eMBB数据量需求、URLLC业务的数据量需求以及信道资源，估算eMBB业务能够在小区内完成传输的概率，判断URLLC业务是否能够在一个超短时隙内完成传输；

以最大化eMBB业务成功发送概率，并保证URLLC业务成功发送为目标，构建优化问题；所述优化问题表示为：

s.t.C1:u_B∈U_B,u_L∈U_L

其中，表示eMBB业务成功发送概率，/>表示URLLC业务成功发送概率，C1表示约束1，C2表示约束2，C3表示约束3，C4表示约束4，u_B表示eMBB业务，U_B表示eMBB业务集合，u_L表示URLLC业务，U_L表示URLLC业务集合，M为大数，/>表示eMBB业务分得资源块的比例，代表u_L在时隙k抢占u_B资源块的比例，K_t表示t时隙中所有超短时隙的集合；

eMBB业务成功发送概率计算式为：

其中，表示u_B传输速率，/>表示业务u_B的剩余服务时间，/>表示剩余数据量，a为一个极小常数；

URLLC业务成功发送概率计算式为：

其中，表示u_L传输速率，/>表示在超短时隙k中到达用户u_L的需求流量大小；

将该优化问题建模成马尔科夫决策问题；

基于DDPG算法，求解该马尔科夫决策问题，得到最优的eMBB业务资源分配策略与URLLC业务资源抢占策略。

2.根据权利要求1所述的基于可变时隙调度的C-V2X多业务下行资源分配方法，其特征在于，根据u_B被分配的带宽、u_B损失的带宽以及u_B的频谱效率计算得到。

3.根据权利要求2所述的基于可变时隙调度的C-V2X多业务下行资源分配方法，其特征在于，根据u_L被分配的带宽、u_L抢占的带宽以及u_L的频谱效率计算得到。