CN109831236B - 一种基于蒙特卡洛树搜索辅助的波束选择方法 - Google Patents

Abstract

该发明公开了一种基于蒙特卡洛树搜索辅助的波束选择方法，属于毫米波车辆通信***领域，主要涉及在毫米波基站与动态移动的车辆之间进行最优波束选择的方法。本发明针对背景技术存在的缺陷，提出了一种基于蒙特卡洛树搜索辅助的联系上下文多臂***波束选择的方法。该方法是一种在线学习方法，可以有效解决毫米波传送中性能损失与环境拥塞的问题，且适用于车辆与毫米波基站之间通信。首先，本发明利用了车辆***的上下文信息特征，有效地解决了毫米波通信性能易衰减的特性；并且，本发明所采用的蒙特卡洛树搜索方法可以很好地处理网络大数据，更加符合实际通信环境的需求。

Description

一种基于蒙特卡洛树搜索辅助的波束选择方法

技术领域

本发明属于毫米波车辆通信***领域，主要涉及在毫米波基站与动态移动的车辆之间进行最优波束选择的方法

背景技术

近年来，在关于新一代车辆-基站通信的研究中，研究人员着重关注了如何设计multi-Gbps 链路，该项技术被认为是实现5G vehicle-to-everything(V2X)通信的关键。Multi-Gbps links 能够获得高数据速率，从而能使车辆通信***能够获取准确的传感数据(例如，超高清实时地图等)，这对于(半)自动驾驶车辆至关重要。目前，我们使用的4GLTE-A***(低于6GH 频段)经常会在通信期间发生拥塞状况，这会造成通信中断等障碍。目前，正在研发中的5G 通信***计划采用未开发利用的毫米波频段(10-300GHz)来克服该障碍。毫米波通信具有高频段、短波长等特性，与传统信道相比，毫米波信道存在更高的路径损耗和穿透损耗等缺陷。最新的关于车载通信***研究表明：(1)定向传输和波束成形是能弥补毫米波通信高路径损耗的解决技术方案，(2)部署高密度的基站能够弥补毫米波段(100-150米)短通信范围不够的缺点。这些解决方案保证了毫米波通信的可行性。但是，我们在毫米波通信***设计时也面对了许多新的挑战。首先，传统上6GHz以下的频段，一般采用的是全向传输的方式，但是对于毫米波频段，则需要在基站和车辆之间进行精确的波束对准。其次，毫米波通信信号由于高穿透损耗而易于堵塞(例如外部环境：建筑物，树叶)。由于上述这些缺陷限制，毫米波通信***的性能会因不准确的波束选择而受到严重阻碍。因此，如果能使基站基于其周围环境执行动态地波束选择(例如，以避免阻塞)，可以有效地减少性能下降。

传统的波束方向测量方式上，我们采用实际测量的数据来分析波束选择的方向，然而这种人工测量的方式对于未来高密集部署的5G蜂窝基站来说是耗时且不可扩展的。另外，这种方法无法有效解决移动车辆和环境阻塞的情景。基于上述提到的种种缺陷，我们认为基站应该具备自主探索，学习和适应它们的环境的特点，以便能进行准确的波束选择。为此目的，我们提出在基站中利用一种基于蒙特卡洛树搜索的方法，该方法通过利用搜集的上下文信息来自主地表征其周围环境。特别地，如何将信息(例如，用户车辆的位置)与其决定结果(例如，波束选择)关联起来是做出最佳决策的关键。为了更好地应对5G网络的大规模密集化，我们将波束选择问题建模为联系上下文多臂***问题，并提出了一种用于毫米波基站的具有低复杂度的蒙特卡洛树搜索的在线学习算法。该算法能使毫米波基站能够自主地从先前的决策与可用的上下文信息的关系中学习决策，这种方式能够很好适用于动态***，例如堵塞的出现和交通方式的变化。

发明内容

本发明针对背景技术存在的缺陷，提出了一种基于蒙特卡洛树搜索辅助的联系上下文多臂***波束选择的方法。该方法是一种在线学习方法，可以有效解决毫米波传送中性能损失与环境拥塞的问题，且适用于车辆与毫米波基站之间通信。

为了方便地描述本发明的内容，首先对本发明所使用的模型进行介绍，对本发明所使用的术语进行定义。

***模型介绍：在无线电覆盖区域中，毫米波基站(mmWave Base Station，mmWBS)是终端之间进行信息传输的无线收发电台。本发明考虑在基站中配置具有选择波束能力的处理器，对毫米波基站发射的大规模天线进行定向选择。假设波束集合为F＝{f₁,f₂,...}，且所有波束的大小相同。考虑在大规模MIMO下的应用场景，波束集合由大规模天线数确定，因此波束集合的大小|F|假设为无限大。毫米波基站的的波束选择可描述为可选择最优的M个波束。同时，本发明考虑车辆的流动性，用N(t)表示当前时刻基站所服务的车辆数量，其中 t＝1,2,...T,为时间序号，T表示时间终点，也可表示时隙长度。本发明的目的在于最优化每个时刻的最优波束集合，使得车辆对每个时刻的选择最优的波束。

定义1、如图(1)所示，车辆的特征空间用A_T表示，

其中m_T表示划分出的子空间的数量，即车辆类型的数量；其中，a_i表示第i类车辆的特征空间。

定义2、如图(1)所示，车辆特征空间中心点的集合可以表示为

其中v_i表示第i类子车辆特征空间a_i的中心，

d_u表示车辆上下文特征的维度。

定义3、本发明中所采用的蒙特卡洛树为二叉树，其上节点可以表示为(a_i,h,n)的形式，其中a_i为子车辆特征空间类型，即树的标号；h为树的深度，n表示在深度为h的所有节点中，标号为n的节点。每个节点中所包含的波束集合用

表示，并满足以下性质：

1.

2.

3.

本发明通过波束特征聚类的方式将波束放入蒙特卡洛树的各个节点中，并且每个节点中的波束特征相差不大。

为了更清晰地展示本发明所采用的蒙特卡洛树结构以及其节点上的波束聚类情况，图(2) 展示了一棵蒙特卡洛树，图(3)则表示在图(2)的树中各个节点上的波束聚类情况。

定义4、

表示截止t时刻，树节点(a_i,h,n)被利用的总次数，即截止t时刻时，该节点中波束被车辆选择的总次数。

定义5、在t时刻，树节点(a_i,h,n)的实际奖励可以表示为

r_m表示在第m次被选中时的奖励。

定义6、考虑到多臂***自身特性—探索与利用的平衡，本发明中，第t时刻，树节点 (a_i,h,n)奖励将被定义为：

其中c,l₁＞0，0＜ρ＜1，均为常数。

定义7、本发明在考虑多臂***特性的同时，考虑到在蒙特卡洛树中，父亲节点与其儿子节点的关系，故而将第t时刻，树节点(a_i,h,n)的奖励上界

定义为：当节点(a_i,h,n) 为叶子节点时，

当

时，

E_max表示当前时刻的最大奖励值；其余情况下，

定义8、在树

中进行最优路径搜索的步骤如下：

步骤1、初始化最优路径Path＝(a_i,0,1)以及当前最优路径的起点(a_i,h,n)＝(a_i,0,1)，

步骤2、迭代判断：若当前最优路径的起点(a_i,h,n)不是叶子节点且

同时成立，执行步骤3；否则，执行步骤4。

步骤3、若

成立，则将当前最优路径的起点更新为:

(a_i,h,n)＝(a_i,h+1,2n)，并将树节点(a_i,h+1,2n)添加到最优路径中，即 Path＝Path∪(a_i,h+1,2n)，返回步骤2；若

成立，则将当前最优路径的起点更新为(a_i,h,n)＝(a_i,h+1,2n-1)，并将树节点(a_i,h+1,2n-1)添加到最优路径中，即Path＝Path∪(a_i,h+1,2n-1)，返回步骤2。

步骤4、输出最优路径Path以及当前最优路径的起点(a_i,h,n)，此时的起点即为最优路径上唯一的叶子节点。

为了更清晰地描述最优路径搜索，附图(4)展示了在图(2)的蒙特卡洛树上进行最优路径搜索的过程。

定义9、在树

中沿最优路径反向更新的步骤如下：

步骤1、在树

中找到其最优路径Path及最优路径上唯一的叶子节点(a_i,h_max,n)， h_max为当前时刻树

的最大深度。迭代次数初始化设置为1，此时迭代出发点为叶子节点 (a_i,h,n)。最大迭代次数为h_max。

步骤2、当迭代次数为k时，更新节点为(a_i,h,n^*)，且

其中 h＝h_max-k表示当前更新节点的深度。统计该节点中被选择的波束在t时刻被请求的次数，并将统计次数总和作为该时刻的波束选择的奖励

具体可以表示为

步骤3、更新该节点的实际平均奖励：

步骤4、更新该节点在波束选择过程中被利用的次数：

步骤5、根据定义5，更新该节点的波束选择的奖励

步骤6、根据定义6，更新该节点的波束选择奖励上界

步骤7、迭代次数k＝k+1；若k＞h_max，则迭代终止并结束对树

进行反向更新的过程；否则，执行步骤2。

为了更清晰地描述最优路径搜索，附图(5)展示了在图(4)的最优路径上进行回溯更新的过程。

定义10、叶子拓展的门限η_h(t)表示为

叶子节点拓展的步骤如下：

步骤1、最大迭代次数表示为|Λ_a(t)|，即该集合中树的数量。初始化迭代次数设置为1。

步骤2、迭代次数为i时，计算树

的树拓展门限

步骤3、若

并且

是树

的叶子节点，则对该叶子节点进行拓展，即更新树

的结构：

同时将节点

和节点

的奖励设置为:

步骤4、迭代次数更新i＝i+1。

步骤5、若i＞|Λ_a(t)|，则迭代终止；否则，执行步骤3。

本发明的技术方案如下：

该方法具体为一种采用蒙特卡洛树搜索辅助的利用联系上下文多臂***模型进行在线学习的波束选择方法。方法的核心是基于蒙特卡洛树搜索辅助的联系上下文多臂***算法，其过程主要包括最优路径搜索、最优波束选择、最优路径的回溯更新以及蒙特卡洛树的拓展四部分。在这之前，车辆上下文特征空间划分和蒙特卡洛树的初始化设置可以看作本发明方法的预处理部分。

本发明技术方案为一种基于蒙特卡洛树搜索辅助的波束选择方法，该方法包括：

步骤1、用户上下文特征空间划分；

根据所有车辆的上下文特征将车辆特征空间A_T划分成m_T个子车辆特征空间；

步骤2、蒙特卡洛树的初始化设置；

在t＝1时，初始化m_T棵二叉树

其中

表示车辆特征空间a_i的二叉树,(a_i,0,1)表示二叉树的根节点，(a_i,1,1),(a_i,1,2)表示二叉树的两个叶子节点；初始化节点(a_i,1,1)和节点(a_i,1,2)的奖励值，

E_max表示当前时刻的最大奖励值；

步骤3、在t时刻，先观测毫米波基站所服务的车辆数量N(t)，并提取其中每一个车辆的上下文特征x(t)并将其矢量化，其中第j个车辆的上下文特征可以表示为x_j(t)，

d_u表示车辆上下文特征的维度；

步骤4、根据提取到的车辆上下文特征，每个车辆将选择自己的车辆类型；选择标准为假设第j个车辆属于车辆子特征空间a_i，则有

成立，||·||₂表示二范数，其中车辆特征空间中心点的集合表示为

其中v_i表示第i类子车辆特征空间a_i的中心，

步骤5、若第j个车辆属于车辆子特征空间a_i，则在树

上做最优路径搜索，得到第j个车辆的奖励值最高的叶子节点，即该叶子节点上的所有波束将作为第t时刻第j个车辆的推荐最优波束；重复步骤5，直到遍历完当前时刻毫米波基站服务的所有车辆；

步骤6、在所有车辆的推荐最优波束中，选择M个性能最好的波束放入当前时刻波束选择的集合C，表示为C＝{c₁(t),c₂(t),...,c_M(t)}；

步骤7、统计每个车辆在第t时刻向波束选择集合C中每一个波束的请求次数；其中第j 个车辆向波束选择集合C的波束m的请求次数可以表示为d_j,m，j＝1,2,...,N(t)， m＝1,2,...,M；

步骤8、对第j个车辆而言，在其对应的特征空间a_i的树

上，节点的奖励值以及被波束选择的次数将沿最优路径进行沿最优路径反向更新算法；重复步骤8，直到遍历完所有车辆；

步骤9、在a(t)＝(a_i(t)),i＝1,2,...,N(t)中，

选择不重复的车辆特征子空间集合Λ_a(t)；

步骤10、在Λ_a(t)中，对其中每个特征子空间a_i所对应的树

是否进行叶子节点的拓展进行判断；重复步骤10，直到遍历完特征子空间Λ_a(t)上所有的树；

步骤11、返回步骤3，t＝t+1。

进一步的，所述步骤5中最优路径搜索的步骤如下：

步骤5.1、初始化最优路径Path＝(a_i,0,1)以及当前最优路径的起点(a_i,h,n)＝(a_i,0,1)，

步骤5.2、迭代判断：若当前最优路径的起点(a_i,h,n)不是叶子节点且

同时成立，执行步骤5.3；否则，执行步骤5.4；

步骤5.3、若

成立，则将当前最优路径的起点更新为:

(a_i,h,n)＝(a_i,h+1,2n)，并将树节点(a_i,h+1,2n)添加到最优路径中，即 Path＝Path∪(a_i,h+1,2n)，返回步骤5.2；若

成立，则将当前最优路径的起点更新为(a_i,h,n)＝(a_i,h+1,2n-1)，并将树节点(a_i,h+1,2n-1)添加到最优路径中，即Path＝Path∪(a_i,h+1,2n-1)，返回步骤5.2；

步骤5.4、输出最优路径Path以及当前最优路径的起点(a_i,h,n)，此时的起点即为最优路径上唯一的叶子节点。

进一步的，所述步骤8中在树

中沿最优路径反向更新的步骤如下：

步骤8.1、在树

中找到其最优路径Path及最优路径上唯一的叶子节点(a_i,h_max,n)， h_max为当前时刻树

的最大深度；迭代次数初始化设置为1，此时迭代出发点为叶子节点 (a_i,h,n)；最大迭代次数为h_max；

步骤8.2、当迭代次数为k时，更新节点为(a_i,h,n^*)，且

其中 h＝h_max-k表示当前更新节点的深度；统计该节点中被选择的波束在t时刻被请求的次数，并将统计次数总和作为该时刻的奖励

具体可以表示为

C为波束选择的集合。

步骤8.3、更新该节点的实际平均奖励：

步骤8.4、更新该节点在选择波束过程中被利用的次数：

步骤8.5、更新该节点的选择波束奖励

步骤8.6、更新该节点的选择波束奖励上界

步骤8.7、迭代次数k＝k+1；若k＞h_max，则迭代终止并结束对树

进行反向更新的过程；否则，执行步骤8.2。

进一步的，所述步骤10中是否进行叶子节点的拓展的判断方法为：

叶子拓展的门限为

步骤10.1、最大迭代次数表示为|Λ_a(t)|，即该集合中树的数量；初始化迭代次数设置为1；

步骤10.2、迭代次数为i时，计算树

的树拓展门限

步骤10.3、若

并且

是树

的叶子节点，则对该叶子节点进行拓展，即更新树

的结构：

同时将节点

和节点

的奖励设置为:

步骤10.4、迭代次数更新i＝i+1；

步骤10.5、若i＞|Λ_a(t)|，则迭代终止；否则，执行步骤10.3。

本发明的有益效果：首先，本发明利用了车辆***的上下文信息特征，有效地解决了毫米波通信性能易衰减的特性；并且，本发明所采用的蒙特卡洛树搜索方法可以很好地处理网络大数据，更加符合实际通信环境的需求。

附图说明

图1为车辆特征空间划分示意图；

图2为本发明中蒙特卡洛树结构示意图；

图3为波束选择特征划分示意图；

图4为蒙特卡洛树最优路径方法示意图；

图5为蒙特卡洛树回溯更新方法示意图；

图6为本发明的波束选择方法流程图。

具体实施方式

下面根据一个具体实施例详述本发明的技术方案。但不应将此理解为本发明上述主体的范围仅限于以下实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

首先对本发明的具体实施例所采用的数据进行介绍。本发明采用的数据来自于一个名为 MoviesLens的数据库。数据来源于是2000年到2003年间，由6040个用户对3952部电影进行的共计1000209次评价。本发明将其中每个用户对每个电影的评价看作是每辆车对毫米波基站的波束定向选择。

其次，根据实际情况，本发明中具体实施例的参数初始化设置如下：

时隙长度T设置为8760个小时，其中每个时隙之间相差1小时。用户的上下文特征仅考虑年龄和性别，分别是成年和未成年、男和女，即车辆的特征空间A_T划分成m_T＝4个子车辆特征空间。电影的特征根据隐语意算法划分成10个特征。基站波束选择数M设置为16，即最大可以选择16个波束。树节点的最大波束选择的奖励E_max＝∞。

定义5中的三个常数分别设置为：

ρ＝0.5以及

如图(6)所示是本发明的所提方法的实施流程图。包括以下步骤：

步骤1、用户上下文特征空间划分:将车辆的特征空间A_T划分成4个子车辆特征空间。

步骤2、蒙特卡洛树的初始化设置:在t＝1时，初始化4棵二叉树Γ，其中

表示车辆特征空间a_i的二叉树,

同时，初始化节点(a_i,1,1)和节点 (a_i,1,2)的奖励值，

步骤3、在t时刻，先观测毫米波基站所服务的车辆数量N(t)，并提取其中每一个车辆的上下文特征x(t)并将其矢量化，即第j个车辆的上下文特征可以表示为x_j(t)，

步骤4、根据提取到的车辆上下文特征，每个车辆将选择自己的子空间类型。

步骤5、若第j个车辆属于类型a_i，则在树

上做最优路径搜索。重复步骤5，直到遍历完当前时刻毫米波基站服务的所有车辆。

步骤6、在所有车辆的推荐最优波束选择中，选择M个出现频率最高的波束放入当前时刻选择波束集合C，可以表示为C＝{c₁(t),c₂(t),...,c_M(t)}。

步骤7、统计每个波束在第t时刻向最优波束选择集合C中每一个波束的请求次数。其中第j个波束向最优波束选择集合C的波束m的请求次数可以表示为d_j,m，j＝1,2,...,N(t)， m＝1,2,...,M。

步骤8、对第j个波束而言，在其对应的特征空间a_i的树

上，节点的奖励值以及被波束选择次数将沿最优路径进行回溯更新。重复步骤8、直到遍历完当前时刻毫米波基站服务的所有车辆。

步骤9、在a(t)＝(a_i(t)),i＝1,2,...,N(t)中，

选择不重复的车辆特征子空间集合Λ_a(t)。

步骤10、在Λ_a(t)中，对其中每个特征子空间a_i所对应的树

是否进行叶子节点的拓展进行判断。直到遍历完特征子空间Λ_a(t)上所有的树。

步骤11、若t＜8760，t＝t+1，并返回步骤3；否则，退出循环。

Claims (4)

1.一种基于蒙特卡洛树搜索辅助的波束选择方法，该方法包括：

步骤1、用户上下文特征空间划分；

根据所有车辆的上下文特征将车辆特征空间A_T划分成m_T个子车辆特征空间；

步骤2、蒙特卡洛树的初始化设置；

在t＝1时，初始化m_T棵二叉树

其中

表示车辆特征空间a_i的二叉树,(a_i,0,1)表示二叉树的根节点，(a_i,1,1),(a_i,1,2)表示二叉树的两个叶子节点；初始化节点(a_i,1,1)和节点(a_i,1,2)的奖励值，

E_max表示当前时刻的最大奖励值；

步骤3、在t时刻，先观测毫米波基站所服务的车辆数量N(t)，并提取其中每一个车辆的上下文特征x(t)并将其矢量化，其中第j个车辆的上下文特征可以表示为x_j(t)，

d_u表示车辆上下文特征的维度；

步骤4、根据提取到的车辆上下文特征，每个车辆将选择自己的车辆类型；选择标准为假设第j个车辆属于车辆子特征空间a_i，则有

成立，||·||₂表示二范数，其中车辆特征空间中心点的集合表示为

其中v_i表示第i类子车辆特征空间a_i的中心，

步骤5、若第j个车辆属于车辆子特征空间a_i，则在树

上做最优路径搜索，得到第j个车辆的奖励值最高的叶子节点，即该叶子节点上的所有波束将作为第t时刻第j个车辆的推荐最优波束；重复步骤5，直到遍历完当前时刻毫米波基站服务的所有车辆；

步骤6、在所有车辆的推荐最优波束中，选择M个性能最好的波束放入当前时刻波束选择的集合C，表示为C＝{c₁(t),c₂(t),...,c_M(t)}；

步骤7、统计每个车辆在第t时刻向波束选择集合C中每一个波束的请求次数；其中第j个车辆向波束选择集合C的波束m的请求次数可以表示为d_j,m，j＝1,2,...,N(t)，m＝1,2,...,M；

步骤8、对第j个车辆而言，在其对应的特征空间a_i的树

上，节点的奖励值以及被波束选择的次数将沿最优路径进行沿最优路径反向更新算法；重复步骤8，直到遍历完所有车辆；

步骤9、在a(t)＝(a_i(t)),i＝1,2,...,N(t)中，

选择不重复的车辆特征子空间集合Λ_a(t)；

步骤10、在Λ_a(t)中，对其中每个特征子空间a_i所对应的树

是否进行叶子节点的拓展进行判断；重复步骤10，直到遍历完特征子空间Λ_a(t)上所有的树；

步骤11、返回步骤3，t＝t+1。

2.如权利要求1所述的一种基于蒙特卡洛树搜索辅助的波束选择方法，其特征在于所述步骤5中最优路径搜索的步骤如下：

步骤5.1、初始化最优路径Path＝(a_i,0,1)以及当前最优路径的起点(a_i,h,n)＝(a_i,0,1)，

步骤5.2、迭代判断：若当前最优路径的起点(a_i,h,n)不是叶子节点且

同时成立，执行步骤5.3；否则，执行步骤5.4；

步骤5.3、若

成立，

则将当前最优路径的起点更新为(a_i,h,n)＝(a_i,h+1,2n)，并将树节点(a_i,h+1,2n)添加到最优路径中，即Path＝Path∪(a_i,h+1,2n)，返回步骤5.2；

若

成立，则将当前最优路径的起点更新为(a_i,h,n)＝(a_i,h+1,2n-1)，并将树节点(a_i,h+1,2n-1)添加到最优路径中，

即Path＝Path∪(a_i,h+1,2n-1)，返回步骤5.2；

步骤5.4、输出最优路径Path以及当前最优路径的起点(a_i,h,n)，此时的起点即为最优路径上唯一的叶子节点。

3.如权利要求1所述的一种基于蒙特卡洛树搜索辅助的波束选择方法，其特征在于所述步骤8中在树

中沿最优路径反向更新的步骤如下：

步骤8.1、在树

中找到其最优路径Path及最优路径上唯一的叶子节点(a_i,h_max,n)，h_max为当前时刻树

的最大深度；迭代次数初始化设置为1，此时迭代出发点为叶子节点(a_i,h,n)；最大迭代次数为h_max；

步骤8.2、当迭代次数为k时，更新节点为(a_i,h,n^*)，且

其中h＝h_max-k表示当前更新节点的深度；统计该节点中被选择的波束在t时刻被请求的次数，并将统计次数总和作为该时刻的奖励

具体可以表示为

C为波束选择的集合；

步骤8.3、更新该节点的实际平均奖励：

步骤8.4、更新该节点在选择波束过程中被利用的次数：

步骤8.5、更新该节点的选择波束奖励

步骤8.6、更新该节点的选择波束奖励上界

步骤8.7、迭代次数k＝k+1；若k＞h_max，则迭代终止并结束对树

进行反向更新的过程；否则，执行步骤8.2。

4.如权利要求1所述的一种基于蒙特卡洛树搜索辅助的波束选择方法，其特征在于所述步骤10中是否进行叶子节点的拓展的判断方法为：

叶子拓展的门限为

步骤10.1、最大迭代次数表示为|Λ_a(t)|，即该集合中树的数量；初始化迭代次数设置为1；

步骤10.2、迭代次数为i时，计算树

的树拓展门限

步骤10.3、若

并且

是树

的叶子节点，则对该叶子节点进行拓展，即更新树

的结构：

同时将节点

和节点

的奖励设置为：

步骤10.4、迭代次数更新i＝i+1；

步骤10.5、若i＞|Λ_a(t)|，则迭代终止；否则，执行步骤10.3。

Images