CN110956851B - 一种智能网联汽车协同调度换道方法 - Google Patents

Abstract

本发明涉及一种智能网联汽车协同调度换道方法，其特征在于，包括以下步骤：1)初始化路段上所有待规划ICV的DQN网络的神经网络参数，以及路段上所有待规划ICV的共享网络参数和换道决策器参数；2)DQN网络对每一时刻待规划ICV本身的环境进行感知决策，得到待规划ICV的状态空间模型；3)DQN网络确定待规划ICV的左换道、右换道或直行决策；4)采用协同调度算法，对待规划ICV进行换道规划，得到存在安全间隙的待规划ICV换道轨迹；5)得到待规划ICV本次换道的用于训练DQN网络的奖励值；6)根据得到的状态空间模型和奖励值，对DQN网络进行训练后，进入步骤2)，完成待规划ICV每一时段的无障碍换道，本发明可以广泛应用于智能网联汽车控制领域中。

Description

一种智能网联汽车协同调度换道方法

技术领域

本发明是关于一种智能网联汽车(ICV)协同调度换道方法，属于智能网联汽车控制领域。

背景技术

驾驶员的主要两种驾驶行为之一就是换道行为，其定义为：由于周围车辆行驶状态或者路况信息影响，驾驶员产生了换道意图，并将车辆由原车道换至目标车道的行为。因此，换道行为可分为两大部分进行研究：一是换道决策的产生，二是如何将车辆在从原车道换至目标车道的轨迹设计问题。第一大部分对应为换道决策模型，其决定驾驶员根据当前环境的反馈是否进行换道的决定；第二大部分对应为轨迹规划模型，以规划驾驶员如何安全的换至目标车道。

目前，现有技术中的换道决策模型大部分是基于规则的换道决策模型，其规则往往采用决策树的方式进行表现。较为经典的是Ahmed提出的分层树状间隙接受模型，该模型中的间隙定义为待换道车辆能够安全汇入目标车道前车和目标车道后车之间的安全间隙。整个分层树状间隙接受模型如图1所示，分层树状间隙模型在每一层均使用相应的概率公式进行计算，以决策当前应该进入哪一个分支。以第一层为例，第一层的MLC(强制性换道mandatory lane change)概率

为：

其中，

为决定MLC换道行为的特征向量，α、β分别为模型对应的系数，v_n为概率为正态分布的随机数。由此可以计算出从开始状态进入强制换道行为的概率，相应的非强制换道的概率也可以得出。

然而，当前的基于规则的换到决策模型具有如下的不足：基于规则的方法无法穷举完所有的路况，且基于固定的规则不能很好地适用于动态变化的路况，在高流量的路段中效果尤为的不理想，往往容易加大路段的堵塞效应。当前的换道轨迹规划往往将轨迹设计分为有障碍换道轨迹和无障碍换道轨迹，相比于无障碍换道轨迹，有障碍换道轨迹由于障碍物的存在会引入相应的避撞算法，常用的避撞算法为人工势场算法，如图2所示，该算法的核心思想是将待规划ICV等效于在势场中运动的物体，将障碍物等效为在势场中产生斥力场的物体，将目标点等效为在势场中产生引力的物体，斥力和引力在待规划车辆上进行合成，便能得到一条避撞轨迹，引力场U_attaraction(x_c)为：

其中，K_attaraction为引力场系数，d(x_c，x_t)²为待规划ICV的当前位置与目标点位置的平方。上述公式求出的引力场U_attaraction(x_c)是矢量，该矢量的方向为引力中心指向待规划ICV的当前位置。引力函数F_attaraction(x_c)为势场的负梯度，因此其数值大小为：

该公式计算结果也为矢量其方向和势场方向相反，为待规划ICV当前位置指向引力中心的方向。同样，斥力场函数U_repulison(x_c)可定义为其方向为待规划ICV当前位置指向斥力中心：

斥力函数F_repulison(x_c)也为势场的负梯度，方向为斥力中心指向待规划ICV当前位置：

因此最终的势场函数U(x_c)为：

U(x_c)＝U_attaraction(x_c)+U_repulison(x_c) (6)

在求得势场函数的数值大小后进行如图3所示的矢量合成，即可得到待规划ICV运动的方向。可以看出，采用上述的避撞算法，若在路网上均是实时变化的动态障碍的情况下，计算量会十分庞大。

发明内容

针对上述问题，本发明的目的是提供一种适用于动态变化路况且能够减少计算量的智能网联汽车协同调度换道方法。

为实现上述目的，本发明采取以下技术方案：一种智能网联汽车协同调度换道方法，其特征在于，包括以下步骤：1)初始化路段上所有待规划ICV的DQN网络的神经网络参数，以及路段上所有待规划ICV的共享网络参数和换道决策器参数；2)待规划ICV的DQN网络采用状态空间建模方法，对每一时刻待规划ICV本身的环境进行感知决策，得到待规划ICV的状态空间模型；3)待规划ICV的DQN网络将得到的状态空间模型作为输入量，确定待规划ICV的左换道、右换道或直行决策；4)采用协同调度算法，根据待规划ICV检测的目标车道前车和后车之间的间隙，以及DQN网络做出的决策，对待规划ICV进行换道规划，得到存在安全间隙的待规划ICV换道轨迹；5)根据待规划ICV按照得到的换道轨迹进行换道前后原所在车道和目标车道的车流量密度和平均车速，以及待规划ICV换道后的车速，得到待规划ICV本次换道的用于训练DQN网络的奖励值；6)根据得到的状态空间模型和奖励值，对DQN网络进行训练后，进入步骤1)，完成待规划ICV每一时段的无障碍换道。

进一步，所述步骤1)的具体过程为：1.1)初始化待规划ICV的DQN网络中的经验池，其中，经验池的容量为N，用于存储DQN网络中N个时刻的训练样本、奖励值和状态空间模型；1.2)初始化DQN网络中的eval_net神经网络，并随机初始化eval_net神经网络的权重参数；1.3)初始化DQN网络中的targe_net神经网络，targe_net神经网络的结构和初始化权重均与eval_net神经网络相同；1.4)设定路段的仿真时间；1.5)初始化待规划ICV的共享网络参数和换道决策器参数，其中，共享网络参数为DQN网络中节点与节点之间连接的参数，换道决策器参数为影响待规划ICV视窗的大小。

进一步，所述步骤2)的具体过程为：2.1)根据待规划ICV的换道决策器参数，以待规划ICV为中心建立视窗，考虑所有包含在视窗内的车辆；2.2)采用状态空间建模方法，对待规划ICV的左上、左后、正前、正后、右后和右前六个视窗方位进行感知决策，若存在车辆，则将感知到的某一车辆的车辆状态纳入状态空间表示范围；若不存在车辆，则在状态空间中的对应位置采用特殊0值进行表示；2.3)重复步骤2.2)，直至将待规划ICV六个方位车辆的车辆状态均纳入状态空间表示范围，得到待规划ICV六个方位车辆的状态空间模型；2.4)将待规划ICV的车辆状态与待规划ICV六个方位车辆的状态空间模型进行拼接，构建得到待规划ICV的状态空间模型，该待规划ICV的状态空间模型为DQN网络的输入量。

进一步，所述待规划ICV的车辆状态包括待规划ICV的横坐标、纵坐标、速度和车辆类型，所述待规划ICV六个方位车辆的车辆状态包括与待规划ICV的x方向位置差、与待规划ICV的y方向位置差、与待规划ICV的速度差和车辆类型。

进一步，所述步骤2.4)中待规划ICV的状态空间模型为：

<<x_obstacle1-x_self，y_obstacle1-y_self，v_obstacle1-v_self，type_obstacle1>，...<x_obstacle6-x_self，y_obstacle6-y_self，v_obstacle6-v_self，type_obstacle6>，＜x_self，y_self，v_self，type_self>>

其中，x_obstacle1～x_obstacle6为待规划ICV六个视窗方位车辆的横坐标，y_obstacle1～y_obstacle6为待规划ICV六个视窗方位车辆的纵坐标，v_obstacle1～v_obstacle6为待规划ICV六个视窗方位车辆的速度，type_obstacle1～type_obstacle6为待规划ICV六个视窗方位车辆的车辆类型，type_self为待规划ICV的车辆类型，x_self、y_self、v_self为待规划ICV本身的横坐标、纵坐标、速度。

进一步，所述步骤3)的具体过程为：待规划ICV的DQN网络包括输入层、第一层、第二层和输出层，其中，输入层包括28个神经元，第一层和第二层均包括10个神经元；状态空间模型的28维向量作为DQN网络输入层的28个神经元输入，以全连接的方式与第一层的10个神经元连接，则第一层神经元X₁的值为：

X₁＝W₀X₀+B₁

其中，X₀为输入的28个神经元整体，W₀为输入层与第一层之间的权重，B₁为第一层的偏置；第一层神经元X₁的值通过ReLU函数，以全连接的方式连接至第二层的10个神经元上，则第二层神经元X₂的值为：

X₂＝W₁ReLU(X₁)+B₂

其中，W₁为第一层与第二层之间的权重，B₂为第二层的偏置，ReLU函数为：

ReLU(x)＝max(0，x)

第二层的神经元以全连接的方式连接至输出层的三维向量Q：

Q＝W₂X₂

其中，W₂为第二层与输出层之间的权重，Q为左换道、右换道、直行下对应的Q值构成的三维向量；从该三个Q值中选取最大值并将其对应的动作作为决策。

进一步，所述步骤4)的具体过程为：4.1)设置待规划ICV的第一车辆状态和第二车辆状态，其中，第一车辆状态用于表示该ICV是否正处于换道状态，第二车辆状态用于表示该ICV是否正在等待安全间隙状态；4.2)判断待规划ICV的第一车辆状态是否为正处于换道状态，若不是，则进入步骤4.3)；若是，则根据得到的换道轨迹，更新该待规划ICV的第一车辆状态和第二车辆状态后，进入步骤5)；4.3)待规划ICV检测目标车道前车和后车之间的间隙，若该间隙不满足预先设定的安全间隙，则进入步骤4.4)；若该间隙满足预先设定的安全间隙，则将待规划ICV的第一车辆状态设置为正处于换道状态，将第二车辆状态设置为没有等待安全间隙状态，并以安全间隙为目标点对待规划ICV的进行轨迹规划，得到待规划ICV的换道轨迹，并在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，进入步骤4.6)；4.4)判断目标车道后车是否是ICV，若是ICV，则进入步骤4.5)；若不是ICV，则进入步骤4.6)；4.5)判断待规划ICV的第二车辆状态是否为正在等待安全间隙状态，若是，则直接进入步骤4.6)；若不是，则在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，并将待规划ICV的第二车辆状态设置为等待安全间隙状态，进入步骤4.6)；4.6)采用对前车的双前车跟驰模型，保持对待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车融合而成的虚拟新车的跟驰，进入步骤4.2)。

进一步，所述步骤4.5)中该待规划ICV的虚拟车辆的横坐标的值与原待规划ICV所在车道横坐标的值相同，该待规划ICV的虚拟车辆纵坐标的值为原待规划ICV所在车道纵坐标的值加上车道宽度。

进一步，所述步骤4.6)中对前车的双前车跟驰模型的具体过程为：将待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车的位置、速度和加速度等信息的最小值进行融合，构成一辆虚拟新车，其表达式为：

其中a_i为路段上待规划ICV i的加速度，k₀、k₁和k₂均为对应项的常系数，

为待规划ICV i目标车道前车的速度，

为待规划ICV i所在车道前车的速度，v_i为待规划ICV i的速度，e为待规划ICV i当前间隙与安全间隙之间的差值，且：

其中，

为待规划ICV i目标车道前车的横坐标，

为待规划ICV i所在车道前车的横坐标，x_i为待规划ICV i的横坐标，L_des为安全间隙。

进一步，所述DQN网络的奖励函数为：

R_total＝w₁R_system+w₂R_personage

其中，R_total为奖励值，R_system为***奖励，w₁、w₂均为***奖励的系数，R_personage为待规划ICV本身的奖励，且：

其中，

为待规划ICV原所在车道换道前、后车流量密度，

分别为待规划ICV原所在车道换换道前、后平均车速，

分别为待规划ICV目标车道换道前、后车流量密度，

分别为待规划ICV目标车道换道前、后平均车速，v_des为待规划ICV的期望速度，v_min为待规划ICV的车道限速，w₁₁、w₁₂、w₁₃、w₁₄分别为对应项的系数，v_personage为待规划ICV本身的速度。

本发明由于采取以上技术方案，其具有以下优点：1、本发明将协同调度算法作用于待规划ICV，将所有的换道轨迹统一为无障碍换道轨迹以降低计算量。在协同调度算法的上层引入DQN网络，可以得到待规划ICV换道的最优时刻，且该换道决策器通过衡量换道前后目标车道与原车道的车流量密度变化、平均车速变化以及规划车辆换道后速度的变化，做出对于路段和待规划ICV有正收益的决策。2、本发明将奖励函数分为对整体路段的奖励和对待规划ICV本身的奖励，对路段的奖励中考虑了目标车道和原车道车流量密度和平均速度，对待规划ICV本身的奖励主要考虑换道前后对其速度的影响，将车辆的换道行为对于宏观和微观的影响均考虑在内，使得换道行为更加合理。3、本发明引入深度强化学习实现对换道的实时决策，相比于传统基于规则方法的换道决策更适用于实时动态的路网环境，获得比较理想的换道效果，可以广泛应用于智能网联汽车控制领域中。

附图说明

图1是现有技术中分层树状间隙接受模型的示意图；

图2是现有技术中人工势场算法的示意图；

图3是现有技术中矢量合成的示意图；

图4是本发明中DQN网络的网络结构示意图，其中，Loss表示损失函数，train表示训练模块，assign1、2、3表示赋值操作，Qtarget表示输出值；

图5是本发明的DQN网络中eval_net神经网络的网络结构示意图，其中，Fullconnect表示全连接网络，28dimensional vector表示输入的28维向量，ReLu表示激活函数的名字，Q value表示DQN网络的输出值；

图6是本发明中协同调度算法的流程图；

图7是本发明中待规划ICV所在车道前车、目标车道前车和目标车道后车同时存在的换道场景示意图；

图8是本发明中双前车跟驰模型作用后的换道场景示意图；

图9是本发明中待规划ICV产生虚拟投影的示意图；

图10是本发明中采用协同调度算法后的换道场景示意图；

图11是本发明实施例中快车道下采用本发明方法与采用传统基于规则方法的通行时间-通行车辆数关系曲线示意图，其中，Pass time表示交通路段的通行时间，vehicle表示车辆数量；

图12是本发明实施例中行车道下采用本发明方法与采用传统基于规则方法的通行时间-通行车辆数关系曲线示意图；

图13是本发明实施例中低密度行车道下采用本发明方法与采用传统基于规则方法的通行时间-通行车辆数关系曲线示意图；

图14是本发明实施例中中密度行车道下采用本发明方法与采用传统基于规则方法的通行时间-通行车辆数关系曲线示意图；

图15是本发明实施例中高密度行车道下采用本发明方法与采用传统基于规则方法的通行时间-通行车辆数关系曲线示意图。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

本发明提供的智能网联汽车协同调度换道方法，包括以下步骤：

1)路段上所有待规划智能网联汽车(ICV)均设置有DQN(Deep Q-Learning，深度强化学习)网络，初始化路段上所有待规划ICV的DQN网络的神经网络参数，其中，DQN网络即为换道决策器，如图4所示，为DQN网络的网络结构，具体为：

1.1)初始化待规划ICV的DQN网络中的经验池(replay memory D)，其中，经验池的容量为N用于存储DQN网络中N个时刻的训练样本、奖励值和状态空间模型等状态。

1.2)初始化待规划ICV的DQN网络中的eval_net神经网络，并随机初始化eval_net神经网络的权重参数θ。

1.3)初始化待规划ICV的DQN网络中的targe_net神经网络，targe_net神经网络的结构和初始化权重θ均与eval_net神经网络相同。

1.4)设定路段的仿真时间即训练时间。

2)初始化路段上所有待规划ICV的共享网络参数和换道决策器参数，其中，共享网络参数为待规划ICV的DQN网络中节点与节点之间连接的参数，以将参数通过共享网络平台共享给路段上所有待规划ICV，换道决策器参数为影响待规划ICV视窗的大小。

3)待规划ICV的DQN网络采用状态空间建模方法，对每一时刻待规划ICV本身的环境进行感知决策，得到待规划ICV的状态空间模型，具体为：

3.1)根据待规划ICV的换道决策器参数，以待规划ICV为中心建立视窗，考虑所有包含在视窗内的车辆。

3.2)采用状态空间建模方法，对待规划ICV的左上、左后、正前、正后、右后和右前六个视窗方位进行感知决策，若存在车辆，则将感知到的某一车辆的车辆状态纳入状态空间表示范围，包括与待规划ICV的x方向位置差、与待规划ICV的y方向位置差、与待规划ICV的速度差和车辆类型(包括有人驾驶小型机动车和有人驾驶大型机动车)；若不存在车辆，则在状态空间中的对应位置采用特殊0值进行表示：

车辆状态根据车辆的横坐标x、纵坐标y、速度v、和车辆类型type获取，对于待规划ICV六个视窗方位的车辆来说，其基本的状态空间模型为：

<x_obstacle-x_self，y_obstacle-y_self，v_obstacle-v_self，type_obstacle> (7)

其中，x_obstacle、y_obstacle、v_obstacle、type_obstacle为待规划ICV某一视窗方位车辆的横坐标、纵坐标、速度、车辆类型，x_self、y_self、v_self为待规划ICV本身的横坐标、纵坐标、速度。

3.3)重复步骤3.2)，直至将待规划ICV六个方位车辆的车辆状态均纳入状态空间表示范围，得到待规划ICV六个方位车辆的状态空间模型。

3.4)将待规划ICV的车辆状态与待规划ICV六个方位车辆的状态空间模型进行拼接，构建得到待规划ICV的状态空间模型，该待规划ICV的状态空间模型即为DQN网络的输入量，其中，待规划ICV的车辆状态包括待规划ICV的横坐标x、纵坐标y、速度v和车辆类型type。

将待规划ICV六个视窗方位车辆的车辆状态进行拼接后，再拼接上待规划ICV的车辆状态，即得到下述28维向量的待规划ICV的状态空间模型，即DQN网络的输入量：

<<x_obstacle1-x_self，y_obstacle1-y_self，v_obstacle1-v_self，type_obstacle1>，...<x_obstacle6-x_self，y_obstacle6-y_self，v_obstacle6-v_self，type_obstacle6>，<x_self，y_self，v_self，type_self>> (8)

其中，x_obstacle1～x_obstacle6为待规划ICV六个视窗方位车辆的横坐标，y_obstacle1～y_obstacle6为待规划ICV六个视窗方位车辆的纵坐标，v_obstacle1～v_obstacle6为待规划ICV六个视窗方位车辆的速度，type_obstacle1～type_obstacle6为待规划ICV六个视窗方位车辆的车辆类型，type_self为待规划ICV的车辆类型。

另外，对于特殊的0值状态空间，本发明采用<0，0，0，-1>进行表示，因为在车辆运行过程中不会存在一辆车的位置速度信息与待规划ICV本身一样，所以前面不会出现0值。type＝-1的设定是因为车辆类型采用0和1表示，所以此处采用-1表示没有车辆，至此完成了状态空间的定义和DQN网络输入的定义。

4)如图5所示，待规划ICV的DQN网络将得到的状态空间模型作为输入量，确定待规划ICV的左换道、右换道或直行决策，具体为：

待规划ICV的DQN网络包括输入层、第一层、第二层和输出层，其中，输入层包括28个神经元，第一层和第二层均包括10个神经元。状态空间模型的28维向量作为DQN网络输入层的28个神经元输入，以全连接的方式与第一层的10个神经元连接，则共280条边，每条边上有相应的权重w_ij，表示输入层的第i个神经元与第一层的第j个神经元相连接的权重，因此，每两层之间的连接权重可以采用权重的矩阵W表示，W∈R^m×n，m表示前一层的神经元个数，n表示下一层的神经元个数：

且对于每一层的每一神经元均设置有偏置量b_i，每一层的偏置量可以采用向量B表示，B∈R^K，K表示当前层神经元的个数：

B＝[b₁ … b_k] (10)

令输入的28个神经元整体为向量X₀，输入层与第一层之间的权重为W₀，第一层的偏置为B₁，则第一层神经元X₁的值为：

X₁＝W₀X₀+B₁ (11)

第一层神经元的值通过ReLU函数，以全连接的方式连接至第二层的10个神经元上，则第二层神经元X₂的值为：

X₂＝W₁ReLU(X₁)+B₂ (12)

其中，W₁为第一层与第二层之间的权重，B₂为第二层的偏置，ReLU函数为：

ReLU(x)＝max(0，x) (13)

第二层的神经元以全连接的方式连接至输出层的三维向量Q：

Q＝W₂X₂ (14)

其中，W₂为第二层与输出层之间的权重，Q为左换道、右换道、直行下对应的Q值构成的三维向量，从该三个Q值中选取最大值并将其对应的动作作为决策。

5)采用协同调度算法，如图6所示，根据待规划ICV检测的目标车道前车和后车之间的间隙，以及DQN网络做出的决策，对待规划ICV进行换道规划，得到待规划ICV的换道轨迹，使得待规划ICV每次换道时均存在安全间隙，实现无障碍换道。

考虑如图7所示的复杂场景，即待规划ICV所在车道前车、目标车道前车和目标车道后车同时存在。待规划ICV为图中的黑色车辆，假设因为待规划ICV所在车道的速度太低，DQN网络做出左换道的决策，图7中由箭头标出。但是，于此同时，待规划ICV检测到其相邻的左车道并不存在预先设定的安全间隙，此时启动协同调度算法。协同调度算法分为对前车的双前车跟驰模型和对目标车道后车的调度两部分，这两部分是同时进行的不分先后顺序。

A)对前车的双前车跟驰模型：

双前车跟驰模型为将待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车的位置、速度和加速度等信息的最小值进行融合，构成一辆虚拟新车，使得待规划ICV在对这辆虚拟新车跟驰时，能够保证对上述前方两辆车同样在跟驰，该虚拟新车的双前车跟驰模型的表达式为：

其中，a_i为路段上待规划ICV i的加速度，k₀、k₁和k₂均为对应项的常系数，可以根据实际情况设定，

为待规划ICV i目标车道前车的速度，

为待规划ICV i所在车道前车的速度，v_i为待规划ICV i的速度，e为待规划ICV i当前间隙与安全间隙之间的差值，且：

其中，

为待规划ICV i目标车道前车的横坐标，

为待规划ICV i所在车道前车的横坐标，x_i为待规划ICV i的横坐标，L_des为安全间隙。经过双跟驰一段时间后，车辆之间的相距位置变成如图8所示。

由于双前车跟驰模型的作用，使得待规划ICV与目标车道前车之间原来的碰撞冲突消失，且预留出安全间隙。因此，双前车跟驰模型能够保证待规划ICV在X方向上不会产生碰撞冲突。

B)对目标车道后车的调度：

a)若目标车道后车不是ICV，则按照人类的驾驶行为，不会为待规划ICV减速提供安全间隙，此时由于目标车道的车速快于待规划ICV所在车道，待规划ICV需要等待直至目标车道后车为ICV可供调度或目标车道存在安全间隙。

b)若目标车道后车是ICV，则待规划ICV在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，如图9所示，其中，路段上所有待规划ICV通过共享网络平台进行交流通信，交流通信的内容包括神经网络参数、共享网络参数、换道决策器参数网络参数以及车的位置和速度等。产生的该待规划ICV的虚拟车辆横坐标的值与原待规划ICV所在车道横坐标的值相同，该待规划ICV的虚拟车辆纵坐标的值为原待规划ICV所在车道纵坐标的值加上车道宽度。引入虚拟车辆后使得目标车道后车的跟驰前车由目标车道前车变成该待规划ICV的虚拟车辆。目标车道后车在双前车跟驰模型的作用下，必定与该待规划ICV的虚拟车辆之间产生安全间隙。因为该待规划ICV的虚拟车辆横坐标与原待规划ICV所在车道的横坐标一致，所以这一步骤完成目标车道后车对待规划ICV的跟驰，经过一段时间后待规划ICV在Y方向上必定不会存在冲突，如图10所示。

经过协同调度算法对前车的双前车跟驰模型和对目标车道后车的调度这两部分的同时工作，能够保证待规划ICV在X方向和Y方向上同时不会发生冲突，能够将所有可能存在障碍的换道轨迹统一成为无障碍换道轨迹。

因此，本发明协同调度算法的具体过程如下：

5.1)设置待规划ICV的第一车辆状态和第二车辆状态，其中，第一车辆状态用于表示该ICV是否正处于换道状态(可以采用0、1进行表示)，第二车辆状态用于表示该ICV是否正在等待安全间隙状态(可以采用0、1进行表示)。

5.2)判断待规划ICV的第一车辆状态是否为正处于换道状态，若不是，则进入步骤5.3)；若是，则根据得到的换道轨迹，更新该待规划ICV的第一车辆状态和第二车辆状态后，进入步骤6)。

5.3)待规划ICV检测目标车道前车和后车之间的间隙，若该间隙不满足预先设定的安全间隙，则进入步骤5.4)；若该间隙满足预先设定的安全间隙，则将待规划ICV的第一车辆状态设置为正处于换道状态，将第二车辆状态设置为没有等待安全间隙状态，并采用现有技术公开的轨迹规划方法，以安全间隙为目标点对待规划ICV的进行轨迹规划，得到待规划ICV的换道轨迹，并在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，进入步骤5.6)。

5.4)判断目标车道后车是否是ICV，若是ICV，则进入步骤5.5)；若不是ICV，则进入步骤5.6)。

5.5)判断待规划ICV的第二车辆状态是否为正在等待安全间隙状态，若是，则直接进入步骤5.6)；若不是，则在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，并将待规划ICV的第二车辆状态设置为等待安全间隙状态，进入步骤5.6)。

5.6)采用对前车的双前车跟驰模型，保持对待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车融合而成的虚拟新车的跟驰，进入步骤5.2)。

6)根据待规划ICV按照得到的换道轨迹进行换道前后原所在车道和目标车道的车流量密度和平均车速，以及待规划ICV换道后的车速，得到待规划ICV本次换道的奖励值，该奖励值用于训练待规划ICV的DQN网络，其中，DQN网络的奖励函数为：

R_total＝w₁R_system+w₂R_personage (17)

其中，R_total为奖励值，R_system为***奖励，w₁、w₂均为***奖励的系数，可以根据实际情况设定，R_personage为待规划ICV本身的奖励，且：

其中，

为待规划ICV原所在车道换道前、后车流量密度，

分别为待规划ICV原所在车道换换道前、后平均车速，

分别为待规划ICV目标车道换道前、后车流量密度，

分别为待规划ICV目标车道换道前、后平均车速，v_des为待规划ICV的期望速度，v_min为待规划ICV的车道限速，w₁₁、w₁₂、w₁₃、w₁₄分别为对应项的系数，可以根据实际情况设定，v_personage为待规划ICV本身的速度。

7)根据得到的状态空间模型和奖励值，对DQN网络进行训练后，进入步骤2)，完成待规划ICV每一时段的无障碍换道，其中，DQN网络的训练过程为：

7.1)在经验池中随机取出最小训练批次个状态。

7.2)计算随机取出的每一状态的目标值

(通过得到的奖励值更新Q值作为目标值)：

其中，x为当前状态，t为当前时刻，α为学习速率，r为奖励值，γ为折扣因子，X_α′为执行当前换道动作后的状态。

7.3)采用随机梯度下降法，更新DQN网络中eval_net神经网络和targe_net神经网络的权重，其中，随机梯度下降法为现有技术公开的方法，具体过程在此不多做赘述。

7.4)每C次迭代后更新target_net神经网络的参数为当前eval_net神经网络的参数，其中，C的数值可以根据实际情况设定。

上述步骤4)中，左换道、右换道或直行的决策可以通过DQN网络根据概率ε，随机选择。

下面通过具体实施例详细说明本发明智能网联汽车协同调度换道方法的效果：

如图11、图12所示，分别对最大车速为100km/h的快车道与80km/h的行车道进行本发明方法与采用传统基于规则的方法进行通行效率的对比，并作出通行时间-通行车辆数关系曲线，如图13、图14和图15所示，其中，车流密度的低密度为300辆/h，中密度为900辆/h，高密度为1500辆/h。

采用本发明方法与采用传统基于规则的方法的车辆通过时间均值的对比如下表1所示：

密度	传统基于规则的方法	本发明方法	提升百分比
				低密度	12.15s	10.94s	11.05％
中密度	12.48s	10.89s	14.6％
				高密度	12.74s	11.01s	15.81％

可以看出，采用本发明方法的车辆通过时间均值均低于采用传统基于规则方法的车辆通过时间均值，且车流量密度越高，性能提升越好。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (9)

1.一种智能网联汽车协同调度换道方法，其特征在于，包括以下步骤：

1)初始化路段上所有待规划ICV的DQN网络的神经网络参数，以及路段上所有待规划ICV的共享网络参数和换道决策器参数；

2)待规划ICV的DQN网络采用状态空间建模方法，对每一时刻待规划ICV本身的环境进行感知决策，得到待规划ICV的状态空间模型；

3)待规划ICV的DQN网络将得到的状态空间模型作为输入量，确定待规划ICV的左换道、右换道或直行决策；

4)采用协同调度算法，根据待规划ICV检测的目标车道前车和后车之间的间隙，以及DQN网络做出的决策，对待规划ICV进行换道规划，得到存在安全间隙的待规划ICV换道轨迹，具体过程为：

4.1)设置待规划ICV的第一车辆状态和第二车辆状态，其中，第一车辆状态用于表示该ICV是否正处于换道状态，第二车辆状态用于表示该ICV是否正在等待安全间隙状态；

4.2)判断待规划ICV的第一车辆状态是否为正处于换道状态，若不是，则进入步骤4.3)；若是，则根据得到的换道轨迹，更新该待规划ICV的第一车辆状态和第二车辆状态后，进入步骤5)；

4.3)待规划ICV检测目标车道前车和后车之间的间隙，若该间隙不满足预先设定的安全间隙，则进入步骤4.4)；若该间隙满足预先设定的安全间隙，则将待规划ICV的第一车辆状态设置为正处于换道状态，将第二车辆状态设置为没有等待安全间隙状态，并以安全间隙为目标点对待规划ICV的进行轨迹规划，得到待规划ICV的换道轨迹，并在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，进入步骤4.6)；

4.4)判断目标车道后车是否是ICV，若是ICV，则进入步骤4.5)；若不是ICV，则进入步骤4.6)；

4.5)判断待规划ICV的第二车辆状态是否为正在等待安全间隙状态，若是，则直接进入步骤4.6)；若不是，则在共享网络平台中的目标车道上投影出该待规划ICV的虚拟车辆，并将待规划ICV的第二车辆状态设置为等待安全间隙状态，进入步骤4.6)；

4.6)采用对前车的双前车跟驰模型，保持对待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车融合而成的虚拟新车的跟驰，进入步骤4.2)；

5)根据待规划ICV按照得到的换道轨迹进行换道前后原所在车道和目标车道的车流量密度和平均车速，以及待规划ICV换道后的车速，得到待规划ICV本次换道的用于训练DQN网络的奖励值；

6)根据得到的状态空间模型和奖励值，对DQN网络进行训练后，进入步骤1)，完成待规划ICV每一时段的无障碍换道。

2.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤1)的具体过程为：

1.1)初始化待规划ICV的DQN网络中的经验池，其中，经验池的容量为N，用于存储DQN网络中N个时刻的训练样本、奖励值和状态空间模型；

1.2)初始化DQN网络中的eval_net神经网络，并随机初始化eval_net神经网络的权重参数；

1.3)初始化DQN网络中的targe_net神经网络，targe_net神经网络的结构和初始化权重均与eval_net神经网络相同；

1.4)设定路段的仿真时间；

1.5)初始化待规划ICV的共享网络参数和换道决策器参数，其中，共享网络参数为DQN网络中节点与节点之间连接的参数，换道决策器参数为影响待规划ICV视窗的大小。

3.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤2)的具体过程为：

2.1)根据待规划ICV的换道决策器参数，以待规划ICV为中心建立视窗，考虑所有包含在视窗内的车辆；

2.2)采用状态空间建模方法，对待规划ICV的左上、左后、正前、正后、右后和右前六个视窗方位进行感知决策，若存在车辆，则将感知到的某一车辆的车辆状态纳入状态空间表示范围；若不存在车辆，则在状态空间中的对应位置采用特殊0值进行表示；

2.3)重复步骤2.2)，直至将待规划ICV六个方位车辆的车辆状态均纳入状态空间表示范围，得到待规划ICV六个方位车辆的状态空间模型；

2.4)将待规划ICV的车辆状态与待规划ICV六个方位车辆的状态空间模型进行拼接，构建得到待规划ICV的状态空间模型，该待规划ICV的状态空间模型为DQN网络的输入量。

4.如权利要求3所述的一种智能网联汽车协同调度换道方法，其特征在于，所述待规划ICV的车辆状态包括待规划ICV的横坐标、纵坐标、速度和车辆类型，所述待规划ICV六个方位车辆的车辆状态包括与待规划ICV的x方向位置差、与待规划ICV的y方向位置差、与待规划ICV的速度差和车辆类型。

5.如权利要求3所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤2.4)中待规划ICV的状态空间模型为：

＜＜x_obstacle1-x_self，y_obstacle1-y_self，v_obstacle1-v_self，type_obstacle1>，...＜x_obstacle6-x_self，y_obstacle6-y_self，v_obstacle6-v_self，type_obstacle6>，＜x_self，y_self，v_self，type_self>>

其中，x_obstacle1～x_obstacle6为待规划ICV六个视窗方位车辆的横坐标，y_obstacle1～y_obstacle6为待规划ICV六个视窗方位车辆的纵坐标，v_obstacle1～v_obstacle6为待规划ICV六个视窗方位车辆的速度，type_obstacle1～type_obstacle6为待规划ICV六个视窗方位车辆的车辆类型，type_self为待规划ICV的车辆类型，x_self、y_self、v_self为待规划ICV本身的横坐标、纵坐标、速度。

6.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤3)的具体过程为：

待规划ICV的DQN网络包括输入层、第一层、第二层和输出层，其中，输入层包括28个神经元，第一层和第二层均包括10个神经元；

状态空间模型的28维向量作为DQN网络输入层的28个神经元输入，以全连接的方式与第一层的10个神经元连接，则第一层神经元X₁的值为：

X₁＝W₀X₀+B₁

其中，X₀为输入的28个神经元整体，W₀为输入层与第一层之间的权重，B₁为第一层的偏置；

第一层神经元X₁的值通过ReLU函数，以全连接的方式连接至第二层的10个神经元上，则第二层神经元X₂的值为：

X₂＝W₁ReLU(X₁)+B₂

其中，W₁为第一层与第二层之间的权重，B₂为第二层的偏置，ReLU函数为：

ReLU(x)＝max(0，x)

第二层的神经元以全连接的方式连接至输出层的三维向量Q：

Q＝W₂X₂

其中，W₂为第二层与输出层之间的权重，Q为左换道、右换道、直行下对应的Q值构成的三维向量；

从该三个Q值中选取最大值并将其对应的动作作为决策。

7.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤4.5)中该待规划ICV的虚拟车辆的横坐标的值与原待规划ICV所在车道横坐标的值相同，该待规划ICV的虚拟车辆纵坐标的值为原待规划ICV所在车道纵坐标的值加上车道宽度。

8.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述步骤4.6)中对前车的双前车跟驰模型的具体过程为：

将待规划ICV所在车道中前方一辆车和待规划ICV目标车道中前方一辆车的位置、速度和加速度等信息的最小值进行融合，构成一辆虚拟新车，其表达式为：

其中a_i为路段上待规划ICVi的加速度，k₀、k₁和k₂均为对应项的常系数，

为待规划ICVi目标车道前车的速度，

为待规划ICVi所在车道前车的速度，v_i为待规划ICVi的速度，e为待规划ICVi当前间隙与安全间隙之间的差值，且：

其中，

为待规划ICVi目标车道前车的横坐标，

为待规划ICVi所在车道前车的横坐标，x_i为待规划ICVi的横坐标，L_des为安全间隙。

9.如权利要求1所述的一种智能网联汽车协同调度换道方法，其特征在于，所述DQN网络的奖励函数为：

R_total＝w₁R_system+w₂R_personage

其中，R_total为奖励值，R_system为***奖励，w₁、w₂均为***奖励的系数，R_personage为待规划ICV本身的奖励，且：

其中，

为待规划ICV原所在车道换道前、后车流量密度，

分别为待规划ICV原所在车道换换道前、后平均车速，

分别为待规划ICV目标车道换道前、后车流量密度，

分别为待规划ICV目标车道换道前、后平均车速，v_des为待规划ICV的期望速度，v_min为待规划ICV的车道限速，w₁₁、w₁₂、w₁₃、w₁₄分别为对应项的系数，v_personage为待规划ICV本身的速度。

Images