CN110610271B - 一种基于长短记忆网络的多重车辆轨迹预测方法 - Google Patents

Abstract

本发明公开了一种基于长短记忆网络的多重车辆的轨迹预测方法，将主车和其邻车的历史轨迹等特征作为输入，充分考虑到车辆之间的位置以及驾驶行为的相互影响；经过网络的编码解码之后，将输出的邻近车辆的未来轨迹进一步输入混合密度网络，估计出车辆位置的概率分布，每次训练将混合密度网络的误差和轨迹结果的均方根误差以及编码器解码器网络的参数正则化项相结合，构成损失函数，指导网络参数的更新，如此可提高申请网络的预测准确性，训练好的神经网络可以预测邻车的带有概率的位置信息，将位置信息按照时间的顺序形成连续的轨迹，可以辅助主车进行决策和规划。

Description

一种基于长短记忆网络的多重车辆轨迹预测方法

技术领域

本发明涉及自动控制技术领域，尤其涉及一种基于长短记忆网络的多重车辆的轨迹预测方法。

背景技术

自动驾驶及相关研究在过去的几十年中取得了很大进展。然而，在高速公路等复杂的城市环境中实现高水平的自动驾驶仍然面临着巨大的挑战。这是因为在这种环境中，无人驾驶车辆的驾驶行为处于高度的动态变化之中，且不同的道路参与者之间驾驶策略和所处的位置会受彼此影响，如果失去对于周围其他车辆的位置的估计，则会导致驾驶行为过于激进或者保守。例如相邻车道的车辆突然变道，在没有预测防备的情况下很可能造成车辆追尾事故。

在这种情况下，需要对道路中的其他车辆进行未来轨迹和速度的预测，从而将预测信息和主车的状态信息相结合，实现无人驾驶车辆的决策和布局路径规划，帮助无人驾驶车辆高效地避障和更加舒适地驾驶。在无人车辆的轨迹预测领域，目前的大多数方法都是基于车联网信息，在众多的数据中随机选择一辆目标车辆，然后针对其周围的某辆车辆，进行轨迹预测。这样的***会导致如下为题：1.不符合实际驾驶过程中无人车的传感器视角有限的情况，通常而言，行驶在路上的主车只能通过传感器获取其周围相邻车辆的位置信息；2.一次预测结果只包含一辆车辆的未来轨迹，效率低下；3.忽略了在一定范围的车辆集群内，车辆驾驶行为间的相互影响，使预测的结果无法应用于实际情况。

发明内容

有鉴于此，本发明提供了一种基于长短记忆网络的多重车辆的轨迹预测方法，可以准确预测邻车位置。

一种多重车辆轨迹预测方法，包括如下步骤：

步骤0、对一段设定时间S1内主车的位置、主车所在车道、主车与前车距离、主车周围邻车的位置进行采样，得到一条历史数据；对时间段S1之后的设定时间段S2内主车周围邻车的位置进行采样，得到预测数据，作为训练神经网络时历史数据的标签；历史数据与对应标签构成一条训练数据；

以此类推，获得多条训练数据；

步骤1、构建以深层长短记忆网络为基本单位的多个编码器，以及以深层长短记忆网络为基本单位的多个解码器，由此形成神经网络；

步骤2、在步骤0获得的训练数据中，随机挑选设定数目的训练数据，将每条训练数据按照时间的顺序依次送入一个编码器当中；编码器经过编码，将输入的数据转化为编码向量，然后将编码的向量送入所述解码器当中，其中，编码向量作为解码器的初始隐藏状态；所述解码器输出时间段S2内各采样时刻的邻车位置的预测值；

步骤3、将步骤2中解码器输出的预测值输入到全连接层网络，映射成特征数据；将特征数据送入混合密度网络中，通过训练，输出6组描述当前时刻t_i的前一时刻t_i-1时刻高斯分布的参数

其中，上角标(j)表示车辆的标号，k表示高斯分布的序号，下角标代表时间；

表示第k组高斯分布的参数中用于加权的系数，

分别代表第k组高斯分布的参数中描述x方向和y方向位置均值的物理量，

代表x方向和y方向的标准差，

代表第k组高斯分布的参数中关联x方向和y方向的相关系数；

步骤4、对步骤3中输出的权重取指数后进行归一化计算，得到更新后权重；对步骤3中输出的标准差取指数计算结果，将相关系数取双曲正切函数计算后的数值，然后再代入到公式(1)中，计算出(j)车辆在t_i时刻所在位置的概率：

步骤5、计算解码器输出的位置预测值与标签之间的均方根误差，记为F₁；

基于每辆车每一采样时刻的概率结果，得到所有邻车的各采样时刻概率和值，再求所有采样时刻的概率和，最后对该和值求负对数，得到F₂；

将神经网络参数的正则化项取平方和，得到F₃；

神经网络最终的损失函数如下式所示：

步骤6、基于步骤5计算得到的最终的损失函数，采用Adam梯度下降法，更新各参数，即：损失函数对神经网络各参数分布求梯度，再基于梯度值更新各参数，基于更新后参数返回步骤2继续迭代，直到损失函数变化率低于设定阈值，停止迭代；

步骤7、利用当前更新后参数的神经网络，预测邻车的位置。

较佳的，所述邻车数量为6个以内。

较佳的，所述邻位置，包括x方向位置信息和y方向速度信息。

较佳的，所述时间段S1为50S；时间段S2为小于30S。

较佳的，采样的频率为10Hz。

本发明具有如下有益效果：

本发明的一种基于长短记忆网络的多重车辆的轨迹预测方法，基于以长短记忆网络为单元的编码器解码器的网络架构，该方法基于无人驾驶车的视角，利用车载传感器记录的周围车辆的历史轨迹，结合车辆自身的位置坐标信息、所在的车道、与前方车辆的防碰撞距离等特征，通过构建的神经网络架构，一次性产生邻近最多6辆车辆的未来的轨迹预测；神经网络将主车和其邻车的历史轨迹等特征作为输入，充分考虑到车辆之间的位置以及驾驶行为的相互影响；经过网络的编码解码之后，将输出的邻近车辆的未来轨迹进一步输入混合密度网络，估计出车辆位置的概率分布，每次训练将混合密度网络的误差和轨迹结果的均方根误差以及编码器解码器网络的参数正则化项相结合，构成损失函数，指导网络参数的更新，如此可提高申请网络的预测准确性，训练好的神经网络可以预测邻车的带有概率的位置信息，将位置信息按照时间的顺序形成连续的轨迹，可以辅助主车进行决策和规划。

附图说明

图1为本发明的基于长短记忆网络的多重车辆轨迹预测方法的网络框架图；

图2为本发明所采用的数据的坐标系示意图；

图3-1，图3-2，图3-3分别为实施例中6辆邻车在三种不同场景下轨迹预测真值和预测值结果；其中，场景为随机场景。

图4为保持车道行驶的情形下，主车前方三辆车轨迹预测结果，其中：

图4-1中左图为驾驶情景的示意图，右图为带有概率带的三条预测的轨迹。

图4-2为时空轨迹概率图，x轴，y轴表示实际的位置，z轴表示时间轴，图中可观察到带有概率带的三条时空轨迹。

图4-3为时空轨迹概率图分别沿平行于x-y轴确定的平面在z轴t＝2s和t＝3s的时刻横切的截面图，t＝2s以及t＝3s时均可观察到A,B,C三辆车的带有概率带的瞬时位置，该图说明经过本模型的预测，可以得到邻域内预测车辆在预测时间内的位置的概率分布。

图5为有车辆变道的情形下主车前方的A,B,C三辆预测车辆。

图5-1中包括驾驶情景的示意图以及带有概率带的三条预测的轨迹。

图5-2为时空轨迹概率图，x轴，y轴表示实际的位置，z轴表示时间轴，图中可观察到带有概率带的三条时空轨迹。

图5-3为时空轨迹概率图分别沿平行于x-y轴确定的平面在z轴t＝2s和t＝3s的时刻横切的截面图，t＝2s时可观察到A,B,C三辆车的带有概率带的瞬时位置，t＝3s时只能观察到A,C两辆车辆的带有概率带的瞬时位置。

具体实施方式

针对在高速环境中车辆的位置和速度处于高度变化中的状态以及相邻车道之间车辆互相影响的情况，本发明基于无人驾驶车辆主车的视角，利用车载传感器激光雷达获取相邻车辆的相对位置信息(也可通过视觉传感器获取图像数据，利用目标追踪的方法获取周围车辆的相对位置)，记录下周围6辆对主车有直接影响的车辆在历史5s内的轨迹，通过构造的基于长短记忆网络的编码器解码器的神经网络的架构，结合混合密度网络，一次性输出周围车群在未来3s内的轨迹以及轨迹的概率分布，辅助主车进行决策和规划。具体的过程包括：

步骤1、预先处理数据。整个***的坐标系以主车几何中心在起始时间所在的位置为坐标原点，以道路前进方向的切线方向为y轴的正方向，以垂直于道路边缘的方向指向右的方向为x轴的正方向。输入神经网络的一条训练数据记为X，其中包括以当前时刻为终点，历史5s频率为10Hz的共50帧的特征数据，其中某一帧的特征数据

由主车所在的车道线标号(Lane_ID)，主车与前车之间的碰撞距离(Space_Hdwy)，主车的位置坐标

以及周围6辆车的相对于主车的位置坐标

组成，除车道线标号外其他物理量单位均为米。将以当前时刻为起始的未来3s的周围车辆的轨迹作为此条训练数据X，对应的标签为Y，频率同样为10Hz，共30帧。网络的输出数据为6辆车辆的预测轨迹

(格式与Y相同)。准备好训练集以及测试集后，对其做数据归一化处理并且打乱顺序。输入数据X以及其标签Y如下式所示：

特别说明的是，上式中的

均代表y轴方向的速度，而非距离。这是因为车辆在行驶的过程中，其y方向的速度通常限制在一定的范围内，更适用于作为神经网络的输入。将y方向预测出的速度做积分处理即可得到y方向的运动距离。

步骤2、以批处理的方式将步骤1中经过预处理的数据挑选出。按照时间的顺序依次送入以深层长短记忆网络为基本单位的编码器当中。编码器经过编码，将输入的历史轨迹数据转化为编码向量，向量中包含在周围车辆集群中提取到的高维的特征。然后将编码的向量送入以深层长短记忆网络为基本单位的解码器当中，编码向量作为解码器的初始隐藏状态，50帧历史数据的最后一帧数据作为解码器的初始时刻输入，使得预测的轨迹和历史的轨迹可以自然衔接。解码器按照时间的顺序依次输出未来3s内6辆车的位置信息。为了使网络更加关注与当前时刻邻近时间的历史轨迹信息，使用了注意力机制为输入的历史轨迹赋予不同的权重，以此显示不同历史时间的位置对于未来位置不同的影响程度。

步骤3、由于车辆的未来轨迹呈多模态分布(具有相同历史轨迹的车辆，其未来的轨迹可能会受司机驾驶习惯等影响，产生不同结果)，因此在原有的编码器解码器的网络架构上，增加混合密度网络来估计未来轨迹的概率分布，并且将混合密度网络产生的误差反馈到原有网络上，结合原有的损失函数，共同指导网络的参数优化。假设车辆的x和y坐标的估计值分别呈高斯分布，并且两个变量相互关联。将步骤2中的输出结果经过全连接层网络，进一步映射形成特征。将数据送入混合密度网络中，混合密度网络经过训练，可以输出6组高斯分布的参数，假设考虑标号为(j)的预测车辆在t_i时刻位置坐标的概率：

首先，混合密度网络输入经过全连接层处理的预测结果，输出6组描述高斯分布的参数

(因为混合密度网络的输入与t_i-1时刻的数据相关，因此将其输出参数中表示时间的下角标记为t_i-1)，其中，上角标(j)表示车辆的标号，k表示高斯分布的序号，下角标代表时间。因此，

表示第k组高斯分布的参数中用于加权的系数，

分别代表第k组高斯分布的参数中描述x方向和y方向位置均值的物理量，

代表x方向和y方向的标准差，

代表第k组高斯分布的参数中关联x方向和y方向的相关系数。为了使混合密度网络输出的参数符合参数范围要求，需要对其直接输出的参数值做进一步的规范化处理：

其中,高斯分布的权重取指数后进行归一化计算；均值不做处理直接代入；标准差取指数计算结果；相关系数取双曲正切函数计算后的数值。

利用多个高斯分布加权拟合出每辆车在每个时刻x方向以及y方向位置坐标的分布结果，从而根据公式计算出(j)车辆在t_i时刻所在位置的概率：

其中，

为6辆车辆的历史轨迹。

表示用于拟合车辆位置的第k个高斯分布，其概率密度函数可以由混合密度网络输出的参数计算得到：

综上，6个高斯分布的概率密度函数经过加权拟合，可以得到标号(j)车辆在t_i时刻所处位置的概率。

步骤4、构建误差函数计算梯度，从而更新神经网络的参数。本发明在原有的编码器解码器的神经网络损失函数基础上，提出将混合密度网络的误差作为反馈，共同组建成整个神经网络的误差，从而加速神经网络的参数更新和收敛速度，并且计算出预测的轨迹结果对应的概率分布。神经网络的损失函数共由三部分组成，分别是：

(1)解码器输出的预测的车辆的轨迹值和真实轨迹值的差，即均方根误差；

(2)混合密度网络中对得到的概率结果取负对数形式；

(3)参与训练更新的网络参数的正则化项。

最终的损失函数如下式所示：

其中，T表示时间范围，取值为30(3s，10Hz)；J表示纳入计算范围的车辆的数目，为6；N表示网络中参与更新的参数变量的数目，K表示用于拟合均值和方差的高斯分布的数目，为6；W₁,W₂分别表示用于调节参数正则化和调节混合密度网络误差的权重，根据经验人工设置。

步骤6、采用Adam梯度下降算法计算梯度，更新神经网络的参数，参数具体的更新过程如下表所示。

当网络的误差收敛速度减缓，误差变化率低于一定的阈值δ时，说明网络已经完成任务的学习，此时保存网络模型，终止训练过程。将编码器输出的以时间为顺序的6辆车的位置以及混合密度网络输出的对应的高斯分布参数结合起来，最终形成连续的带有概率带的预测轨迹。绘制成轨迹预测结果的二维俯视图、三维视图以及所有时间的横截面图，用于无人车辆的决策和规划。

实施例：

本实施例中，神经网络的具体超参数如下表所示：

如图2所示，图中包含无人驾驶车即主车(标号为(0)的车辆)以及6辆周围车辆(标号为(1)-(6)的6辆车辆)，坐标系的原点O在主车的几何中心，y轴沿道路前进方向的切线方向，x轴垂直于y轴，由道路的左边缘线指向右边缘线。

如图3所示，基于长短记忆网络编码器解码器结构的方法得到的3个场景下(图3-1，图3-2，图3-3)车辆的轨迹预测真值和预测值结果。其中，每个测试场景下含有标号为(1)-(6)车辆的测试结果。为显示网络的泛化能力，每个标号对应的轨迹图实际由16组标号相同车辆的轨迹首尾相接形成,对应48s，共480帧的数据。

如图4所示，为保持车道行驶的情形，为便于观察，图中仅考虑位于主车前方的A,B,C三辆预测车辆。图4-1中包括驾驶情景的示意图以及带有概率带的三条预测的轨迹。图4-2为时空轨迹概率图，x轴，y轴表示实际的位置，z轴表示时间轴，图中可观察到带有概率带的三条时空轨迹。图4-3为时空轨迹概率图分别沿平行于x-y轴确定的平面在z轴t＝2s和t＝3s的时刻横切的截面图，t＝2s以及t＝3s时均可观察到A,B,C三辆车的带有概率带的瞬时位置。

如图5所示，为有车辆变道的情形，为便于观察，图中仅考虑位于主车前方的A,B,C三辆预测车辆。图5-1中包括驾驶情景的示意图以及带有概率带的三条预测的轨迹。图5-2为时空轨迹概率图，x轴，y轴表示实际的位置，z轴表示时间轴，图中可观察到带有概率带的三条时空轨迹。图5-3为时空轨迹概率图分别沿平行于x-y轴确定的平面,在z轴t＝2s和t＝3s的时刻横切的截面图，t＝2s时可观察到A,B,C三辆车的带有概率带的瞬时位置，t＝3s时只能观察到A,C两辆车辆的带有概率带的瞬时位置。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种多重车辆轨迹预测方法，其特征在于，包括如下步骤：

步骤0、对一段设定时间S1内主车的位置、主车所在车道、主车与前车距离、主车周围邻车的位置进行采样，得到一条历史数据；对时间段S1之后的设定时间段S2内主车周围邻车的位置进行采样，得到预测数据，作为训练神经网络时历史数据的标签；历史数据与对应标签构成一条训练数据；

以此类推，获得多条训练数据；

步骤1、构建以深层长短记忆网络为基本单位的多个编码器，以及以深层长短记忆网络为基本单位的多个解码器，由此形成神经网络；

步骤2、在步骤0获得的训练数据中，随机挑选设定数目的训练数据，将每条训练数据按照时间的顺序依次送入一个编码器当中；编码器经过编码，将输入的数据转化为编码向量，然后将编码的向量送入所述解码器当中，其中，编码向量作为解码器的初始隐藏状态；所述解码器输出时间段S2内各采样时刻的邻车位置的预测值；

步骤3、将步骤2中解码器输出的预测值输入到全连接层网络，映射成特征数据；将特征数据送入混合密度网络中，通过训练，输出6组描述当前时刻t_i的前一时刻t_i-1时刻高斯分布的参数

其中，上角标(j)表示车辆的标号，k表示高斯分布的序号，下角标代表时间；

表示第k组高斯分布的参数中用于加权的系数，

分别代表第k组高斯分布的参数中描述x方向和y方向位置均值的物理量，

代表x方向和y方向的标准差，

代表第k组高斯分布的参数中关联x方向和y方向的相关系数；

步骤4、对步骤3中输出的权重取指数后进行归一化计算，得到更新后权重；对步骤3中输出的标准差取指数计算结果，将相关系数取双曲正切函数计算后的数值，然后再代入到公式(1)中，计算出(j)车辆在t_i时刻所在位置的概率：

其中，

表示用于拟合车辆位置的第k个高斯分布；

步骤5、计算解码器输出的位置预测值与标签之间的均方根误差，记为F₁；

基于每辆车每一采样时刻的概率结果，得到所有邻车的各采样时刻概率和值，再求所有采样时刻的概率和，最后对该和值求负对数，得到F₂；

将神经网络参数的正则化项取平方和，得到F₃；

神经网络最终的损失函数如下式所示：

步骤6、基于步骤5计算得到的最终的损失函数，采用Adam梯度下降法，更新各参数，即：损失函数对神经网络各参数分布求梯度，再基于梯度值更新各参数，基于更新后参数返回步骤2继续迭代，直到损失函数变化率低于设定阈值，停止迭代；

步骤7、利用当前更新后参数的神经网络，预测邻车的位置。

2.如权利要求1所述的一种多重车辆轨迹预测方法，其特征在于，所述邻车数量为6个以内。

3.如权利要求1所述的一种多重车辆轨迹预测方法，其特征在于，所述邻车位置，包括x方向位置信息和y方向速度信息。

4.如权利要求1所述的一种多重车辆轨迹预测方法，其特征在于，所述时间段S1为50S；时间段S2为小于30S。

5.如权利要求4所述的一种多重车辆轨迹预测方法，其特征在于，采样的频率为10Hz。

Images