CN113076599A - 一种基于长短时记忆网络的多模态车辆轨迹预测方法 - Google Patents

Abstract

本发明的目的是提供一种基于长短时记忆网络的多模态车辆轨迹预测方法，用于增强无人驾驶车辆的决策能力，优化无人驾驶车辆的主动安全能力，首先通过提取目标车辆和周围车辆的历史轨迹信息，然后将每个车辆的轨迹信息通过LSTM对其运动状态进行编码将其组合成为编码序列，提出社会池化，通过将被预测的车辆周围所有车辆的LSTM状态池化为一个社会张量，社会张量应用两个卷积层和一个池化层，获得社会池的位置关系信息，另外，预测车辆的LSTM状态通过全连通层，获得车辆动力学编码，将两种编码串联起来形成完整的轨迹编码，再通过LSTM解码器和混合密度网络，对未来的轨迹信息进行多模态预测，提高无人驾驶车辆的主动安全能力。

Description

一种基于长短时记忆网络的多模态车辆轨迹预测方法

技术领域

本发明属于车辆轨迹预测技术领域，具体涉及一种基于长短时记忆网络的多模态车辆轨迹预测方法。

背景技术

现有自动驾驶汽车的应用有望减少道路交通事故的数量，提高道路安全。为了在由人类驾驶员组成的复杂交通中安全高效地行驶，自动驾驶汽车需要具备主动决策的能力，比如决定何时变道、超车或减速从而与周围其他车辆保持安全距离。因此自动驾驶汽车不应该仅仅要了解附近道路使用者的现状，而且要***他们未来的行为。由于涉及大量潜在变量，对周围车辆未来运动的预测是一个具有挑战性的问题。

车辆之间存在相互依赖，车辆的行为会影响其他车辆的行为，反之亦然，因此，预测车辆的行为需要观察周围车辆的行为。其次，道路几何形状和交通规则可能重塑车辆行为。例如，在十字路口放置让路标志可以完全改变接近它的车辆的行为。因此，在不考虑交通规则和道路几何形状的情况下，在特定驾驶环境下训练的模型在其他驾驶环境下的性能有限。由于车辆的未来行为是多模态的，这意味着给定车辆的运动历史，它可能存在不止一种可能的未来行为。

传统的基于物理的模型或传统机器学习算法的传统方法，如隐马尔可夫模型、支持向量机和动态贝叶斯网络等最早出现在轨迹预测当中，但是人们渐渐发现对于传统的模型来说需要设置大量的参数来进行建模，建立好的模型的适用性也不强。对于部署在复杂交通中的自动驾驶汽车来说，预测周围车辆的运动是一项关键能力。现在的轨迹预测的方法大多数采用神经网络的方法来进行，神经网络的出现可以通过大量的数据集来训练适用于大多数环境下的模型。而由于车辆的轨迹会受到周围车辆的影响，以及车辆的未来的行为将是多模态的，因此在轨迹预测中要考虑到周围车辆对目标车辆的影响因素以及模型的输出应该是多模态的，从而可以大大提高神经网络对车辆轨迹预测的准确率。

发明内容

本发明的目的是提供一种基于长短时记忆网络的多模态车辆轨迹预测方法，用于增强无人驾驶车辆的决策能力，优化无人驾驶车辆的主动安全能力。

本发明解决其技术问题的技术方案为：一种基于长短时记忆网络的多模态车辆轨迹预测方法，包括以下步骤：

S1：对从高速公路车辆驾驶行为轨迹采集的含有车辆速度、车辆的地理坐标、车辆速度以及车道编号的数据集进行预处理；

S2：取预处理后的数据集中的部分数据构成用于训练模型的训练集；

S3：通过编码器、卷积社会池、解码器和混合密度网络构建基于长短时记忆网络的多模态车辆轨迹预测模型；

S4：训练基于长短时记忆网络的多模态车辆轨迹预测模型，用概率最大的输出作为输出值，用均方根误差RMSE作为损失函数；

S5：保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的网络模型中，预测得到车辆未来所有可能出现的轨迹坐标。

所述步骤S1具体为：

S1.1：剔除数据集中的边缘数据；

S1.2：获取数据集中车辆的横向机动特征数据、纵向机动特征数据、网格位置信息作为输入的轨迹特征；

S1.3：获取车辆在t-t_h～t时间所有车辆V＝(V₁，V₂，V₃...V_n)的轨迹序列记为

其中P_t为目标车辆以及周围车辆在t时刻的轨迹特征的集合；P_t＝{x_t,y_t,Δx_t,Δy_t,(m_t,n_t)}，x_t表示目标车辆在t时刻的横向位置，y_t表示目标车辆在t时刻的纵向位置，Δx_t表示目标车辆与周围车辆在t时刻的横向距离差，Δy_t为目标车辆与周围车辆在t时刻的纵向距离差，(m_t,n_t)为周围车辆在事先定义好的道路网格中的位置。

所述步骤S2中，将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集。

训练集占数据总量的70％，验证集占数据总量的20％，测试集占数据总量的10％。

所述步骤S3具体为：

S3.1：编码器由全连接层和LSTM单元组成，将二维空间的车辆轨迹点(x,y)通过全连接层映射到高维空间；

S3.2：将高维空间的向量输入到LSTM编码器，得到对应节点的隐藏表达：

e_t＝FC(x_t,y_t；W_e)

h_t＝LSTM(h_t-1,e_t；W_t)

式中W_e为编码器全连接层的权重，x_t,y_t为当前节点在二维空间中的位置，e_t是轨迹当前节点在高维空间中的表达，h_t-1为当前轨迹前一时刻对应的隐藏向量，W_t为LSTM编码器的隐藏权重，h_t为当前节点的隐藏权重向量；

S3.3：根据编码器得到任意一个轨迹对应的历史隐藏信息H＝(h₁,h₂,...h_o)，则所有邻居车辆的隐藏信息表示为C_all＝(H₁,H₂,...H_i)，i为目标车辆周围车辆的数量；

S3.4：通过定义一个基于车道的网格来建立社会张量，该网格包括目标车辆周围所有的车辆信息，社会张量通过周围的汽车位置填充这个网格而形成，然后对社会张量应用两个卷积层和一个池化层，获得社会编码信息，通过卷积池化网络计算周围车辆与目标车辆的相关度，e_nbr＝conv_pool(h₁,h₂...h_j)，conv_pool为卷积池化网络，h₁,h₂...h_j代表周围车辆历史轨迹信息通过LSTM编码器得到的最后一个隐藏层信息；

S3.5：将目标车辆和周围车辆两种编码串联起来形成完整的轨迹编码，然后将轨迹编码传递给解码器，h_T＝LSTM(h_T-1,[e_obj,e_nbr]；W_d)，其中h_T为LSTM的预测输出，e_obj为目标车辆的编码隐藏信息，e_nbr为周围车辆的编码隐藏信息，W_d为解码器的隐藏权重；

S3.6：将解码器隐藏层经过映射，输入到混合密度网络，得到预测的目标车辆所有可能存在的轨迹，(x,y)_pre＝((x,y)_t；W_t,μ_t，δ_t,ρ_t)，其中(x,y)_t为LSTM解码器的所有预测值，W_t是每种可能存在轨迹的权重，μ_t为混合高斯分布中的均值，σ_t为混合高斯分布中的方差，ρ_t为一些相关的系数，(x,y)_pre为混合密度网络的输出，最后再通过聚类算法将离散的坐标进行整合输出，并将对数据中存在的噪声信息进行清除，最终将预测值呈现出来。

所述步骤S4具体为：训练网络模型，用概率最大的输出作为输出值，用均方根误差RMSE作为损失函数，用负对数似然函数NLL作为验证数据集的关键指标：

其中T_pred为预测的时间步长，(x_t,y_t)为真实的坐标，(x_t',y_t')为预测的坐标；

从预处理后的数据集中选取验证数据集，训练过程中通过将验证数据集计算出当前模型的准确率，再结合训练过程损失函数的变化特征来防止模型发生过拟合。

保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的模型中，预测得到车辆未来可能出现的轨迹。

本发明的有益效果为：本发明首先通过提取目标车辆和周围车辆的历史轨迹信息，然后将每个车辆的轨迹信息通过LSTM对其运动状态进行编码将其组合成为编码序列。虽然LSTM编码器捕捉到车辆的运动特征，但它不能捕捉到场景中所有车辆运动的相互依赖性，因此提出的社会池化，通过将被预测的车辆周围所有车辆的LSTM状态池化为一个社会张量来解决这个问题，社会张量应用两个卷积层和一个池化层，获得社会池的位置关系信息。另外，预测车辆的LSTM状态通过全连通层，获得车辆动力学编码。将两种编码串联起来形成完整的轨迹编码，再通过LSTM解码器和混合密度网络，对未来的轨迹信息进行多模态预测，多模态预测可以将目标车辆未来的可能出现的轨迹信息进行输出，提高无人驾驶车辆的主动安全能力。

附图说明

图1为本发明的流程图。

图2为本发明的模型结构示意图。

图3为本发明的定义的社会张量示意图。

图4为本发明的混合密度网络结构示意图。

图5为本发明在理想情况下预测轨迹的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明包括以下步骤：

S1：对从高速公路车辆驾驶行为轨迹采集的含有车辆速度、车辆的地理坐标、车辆速度以及车道编号的数据集进行预处理；

所述步骤S1具体为：

S1.1：剔除数据集中的边缘数据；

S1.2：获取数据集中车辆的横向机动特征数据、纵向机动特征数据、网格位置信息作为输入的轨迹特征；

S1.3：获取车辆在t-t_h～t时间所有车辆V＝(V₁，V₂，V₃...V_n)的轨迹序列记为

其中P_t为目标车辆以及周围车辆在t时刻的轨迹特征的集合；P_t＝{x_t,y_t,Δx_t,Δy_t,(m_t,n_t)}，x_t表示目标车辆在t时刻的横向位置，y_t表示目标车辆在t时刻的纵向位置，Δx_t表示目标车辆与周围车辆在t时刻的横向距离差，Δy_t为目标车辆与周围车辆在t时刻的纵向距离差，(m_t,n_t)为周围车辆在事先定义好的道路网格中的位置。

S2：取预处理后的数据集中的部分数据构成用于训练模型的训练集；

所述步骤S2中，将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集。

训练集占数据总量的70％，验证集占数据总量的20％，测试集占数据总量的10％。

如图2为本发明的模型结构示意图所示，本发明的模型结构示意图和模型训练方法为：

S3：通过编码器、卷积社会池、解码器和混合密度网络构建基于长短时记忆网络的多模态车辆轨迹预测模型；

所述步骤S3具体为：

S3.1：本发明以目标车辆为观测点，将周围车辆和目标车辆的历史轨迹信息记为一个个的坐标信息，编码器由全连接层和LSTM单元组成，将二维空间的车辆轨迹点(x,y)通过全连接层映射到高维空间；

S3.2：如图2的第①部分所示，为LSTM编码器提取隐藏信息的阶段，将高维空间的向量输入到LSTM编码器，得到对应节点的隐藏表达：

e_t＝FC(x_t,y_t；W_e)

h_t＝LSTM(h_t-1,e_t；W_t)

式中W_e为编码器全连接层的权重，x_t,y_t为当前节点在二维空间中的位置，e_t是轨迹当前节点在高维空间中的表达，h_t-1为当前轨迹前一时刻对应的隐藏向量，W_t为LSTM编码器的隐藏权重，h_t为当前节点的隐藏权重向量；

S3.3：将任意车辆的历史轨迹信息输入到编码器就可以根据编码器得到任意一个轨迹对应的历史隐藏信息H＝(h₁,h₂,...h_o)，则所有邻居车辆的隐藏信息可以表示为C_all＝(H₁,H₂,...H_i)，i为目标车辆周围车辆的数量；

S3.4：如图3本发明的定义的社会张量示意图所示，通过定义一个基于车道的网格来建立社会张量，该网格包括目标车辆周围所有的车辆信息，其中每一列对应一个单一的车道，行之间的距离为15英尺，大约等于一辆车的长度。社会张量是通过周围车辆的位置信息为依旧将编码器提取的特征隐藏信息填充这个网格而形成的。然后，我们如图2的第②部分所示，为卷积社会池提取周围车辆对目标车辆轨迹的影响阶段，通过对社会张量应用两个卷积层和一个池化层，获得社会编码信息。通过卷积池化网络计算周围车辆与目标车辆的相关度，e_nbr＝conv_pool(h₁,h₂...h_j)，conv_pool为卷积池化网络，h₁,h₂...h_j代表周围车辆历史轨迹信息通过LSTM编码器得到的最后一个隐藏层信息；

S3.5：通过将目标车辆的编码信息和周围车辆通过卷积社会池处理后的两种编码串联起来形成完整的轨迹编码，然后将轨迹编码传递给解码器，h_T＝LSTM(h_T-1,[e_obj,e_nbr]；W_d)，其中h_T为LSTM的预测输出，e_obj为目标车辆的编码隐藏信息，e_nbr为周围车辆的编码隐藏信息，W_d为解码器的隐藏权重；

S3.6：如图2的第③部分所示，该模块为解码器解码和混合密度网络对输出进行处理的阶段，主要将解码器隐藏层经过映射，输入到混合密度网络。混合密度网络通常作为神经网络的最后处理部分。将某种分布(通常是高斯分布)按照一定的权重进行叠加，从而拟合最终的分布，其中的均值、方差和每个模型的权重通过神经网络产生的，利用反向传播从而确定网络的权重(也就是确定一个较好的高斯分布参数)，如图4为本发明的混合密度网络结构示意图所示，在本发明中，当LSTM解码器的输出作为输入，输入到训练好的混合密度网络模型后，会自动生成一系列混合的高斯分布模型的参数，通过均值、方差和各个模型的权重，通过该模型即可获得多样化的输出效果。通过混合密度网络即可得到预测的目标车辆所有可能存在的轨迹，(x,y)_pre＝((x,y)_t；W_t,μ_t，δ_t,ρ_t)，其中(x,y)_t为LSTM解码器的所有预测值，W_t是每种可能存在轨迹的权重，μ_t为混合高斯分布中的均值，σ_t为混合高斯分布中的方差，ρ_t为一些相关的系数，(x,y)_pre为混合密度网络的输出，通过混合密度函数输出二位的高斯密度矩阵为：

其中π为第i个高斯模型的相对权重。这里σ为两个参数，分别代表参数在x和y维度上，并且引入了最后一个参数ρ，因为它描述了x和y维度之间的数据相关性。从数学上来说，这与具有完整的2维协方差矩阵相同，因为协方差矩阵是对称的。最后再通过聚类算法忽略一些没有意义的信息来整合输出，并将预测值以简洁而有意义的表示形式呈现出来。

S4：训练基于长短时记忆网络的多模态车辆轨迹预测模型，用概率最大的输出作为输出值，用负对数似然函数RMSE作为损失函数；

所述步骤S4具体为：训练网络模型，用概率最大的输出作为输出值，用均方根误差RMSE作为损失函数，用负对数似然函数NLL作为验证数据集的关键指标：

其中T_pred为预测的时间步长，(x_t,y_t)为真实的坐标，(x_t',y_t')为预测的坐标；

S5：保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的网络模型中，预测得到车辆未来所有可能出现的轨迹坐标。

从预处理后的数据集中选取验证数据集，训练过程中通过将验证数据集计算出当前模型的准确率，再结合训练过程损失函数的变化特征来防止模型发生过拟合。

保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的模型中，预测得到车辆未来可能出现的轨迹。

图5为本发明在理想情况下预测轨迹的效果图所示，深色车辆为目标车辆，浅色车辆为周围车辆，在图5的a部分中，本发明中提出的神经网络模型可以通过历史轨迹信息从而预测出目标在未来可能出现的运行轨迹，可以跟随前车继续直行，也可以放弃跟随变道行驶，并且可以预测目标车辆在变道过程中可能出现的轨迹，因为根据不同的驾驶员的行为习惯，每个人的变道轨迹可能不是唯一的；在图5的b部分中也一样，该发明不仅可以预测出来在复杂的交通情况下，目标车辆是选择继续直行还是选择变道行驶，并且可以预测出车辆的变道行驶过程中不同驾驶员因为行为不同所产生的不同的行为轨迹。通过基于长短时记忆网络的多模态车辆轨迹预测方法会产生预测多个轨迹，并对每个轨迹出现的可能性进行排序，这样无人驾驶车辆就可以更好的分析目标车辆可能出现的轨迹，通过分析目标车辆可能出现的轨迹，进而更加安全地进行决策，可以使无人驾驶车辆像一个经验丰富地驾驶员一样来应对复杂地交通环境。

本发明首先通过提取目标车辆和周围车辆的历史轨迹信息，然后将每个车辆的轨迹信息通过LSTM对其运动状态进行编码将其组合成为编码序列。虽然LSTM编码器捕捉到车辆的运动特征，但它不能捕捉到场景中所有车辆运动的相互依赖性，因此提出的社会池化，通过将被预测的车辆周围所有车辆的LSTM状态池化为一个社会张量来解决这个问题，社会张量应用两个卷积层和一个池化层，获得社会池的位置关系信息。另外，预测车辆的LSTM状态通过全连通层，获得车辆动力学编码。将两种编码串联起来形成完整的轨迹编码，再通过LSTM解码器和混合密度网络，对未来的轨迹信息进行多模态预测，多模态预测可以将目标车辆未来的可能出现的轨迹信息进行输出，提高无人驾驶车辆的主动安全能力。

Claims (8)

1.一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：包括以下步骤：

S1：对从高速公路车辆驾驶行为轨迹采集的含有车辆速度、车辆的地理坐标、车辆速度以及车道编号的数据集进行预处理；

S2：取预处理后的数据集中的部分数据构成用于训练模型的训练集；

S3：通过编码器、卷积社会池、解码器和混合密度网络构建基于长短时记忆网络的多模态车辆轨迹预测模型；

S4：训练基于长短时记忆网络的多模态车辆轨迹预测模型，用概率最大的输出作为输出值，用均方根误差RMSE作为损失函数；

S5：保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的网络模型中，预测得到车辆未来所有可能出现的轨迹坐标。

2.根据权利要求1所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：所述步骤S1具体为：

S1.1：剔除数据集中的边缘数据；

S1.2：获取数据集中车辆的横向机动特征数据、纵向机动特征数据、网格位置信息作为输入的轨迹特征；

S1.3：获取车辆在t-t_h～t时间所有车辆V＝(V₁，V₂，V₃…V_n)的轨迹序列记为

其中P_t目标车辆以及周围车辆在t时刻的轨迹特征的集合；P_t＝{x_t,y_t,Δx_t,Δy_t,(m_t,n_t)}，x_t表示目标车辆在t时刻的横向位置，y_t表示目标车辆在t时刻的纵向位置，Δx_t表示目标车辆与周围车辆在t₁时刻的横向距离差，Δy_t为目标车辆与周围车辆在t时刻的纵向距离差，(m_t,n_t)为周围车辆在事先定义好的道路网格中的位置。

3.根据权利要求1所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：所述步骤S2中，将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集。

4.根据权利要求3所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：训练集占数据总量的70％，验证集占数据总量的20％，测试集占数据总量的10％。

5.根据权利要求1所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：所述步骤S3具体为：

S3.1：编码器由全连接层和LSTM单元组成，将二维空间的车辆轨迹点(x,y)通过全连接层映射到高维空间；

S3.2：将高维空间的向量输入到LSTM编码器，得到对应节点的隐藏表达：

e_t＝FC(x_t,y_t；W_e)

h_t＝LSTM(h_t-1,e_t；W_t)

式中W_e为编码器全连接层的权重，x_t,y_t为当前节点在二维空间中的位置，e_t是轨迹当前节点在高维空间中的表达，h_t-1为当前轨迹前一时刻对应的隐藏向量，W_t为LSTM编码器的隐藏权重，h_t为当前节点的隐藏权重向量；

S3.3：根据编码器得到任意一个轨迹对应的历史隐藏信息H＝(h₁,h₂,…h_o)，则所有邻居车辆的隐藏信息表示为C_all＝(H₁,H₂,…H_i)，i为目标车辆周围车辆的数量；

S3.4：通过定义一个基于车道的网格来建立社会张量，该网格包括目标车辆周围所有的车辆信息，社会张量通过周围的汽车位置填充这个网格而形成，然后对社会张量应用两个卷积层和一个池化层，获得社会编码信息，通过卷积池化网络计算周围车辆与目标车辆的相关度，e_nbr＝conv_pool(h₁,h₂…h_j)，conv_pool为卷积池化网络，h₁,h₂…h_j代表周围车辆历史轨迹信息通过LSTM编码器得到的最后一个隐藏层信息；

S3.5：将目标车辆和周围车辆两种编码串联起来形成完整的轨迹编码，然后将轨迹编码传递给解码器，h_T＝LSTM(h_T-1,[e_obj,e_nbr]；W_d)，其中h_T为LSTM的预测输出，e_obj为目标车辆的编码隐藏信息，e_nbr为周围车辆的编码隐藏信息，W_d为解码器的隐藏权重；

S3.6：将解码器隐藏层经过映射，输入到混合密度网络，得到预测的目标车辆所有可能存在的轨迹，(x,y)_pre＝((x,y)_t；W_t,μ_t，δ_t,ρ_t)，其中(x,y)_t为LSTM解码器的所有预测值，W_t是每种可能存在轨迹的权重，μ_t为混合高斯分布中的均值，σ_t为混合高斯分布中的方差，ρ_t为一些相关的系数，(x,y)_pre为混合密度网络的输出，最后再通过聚类算法将离散的坐标进行整合输出，并将对数据中存在的噪声信息进行清除，最终将预测值呈现出来。

6.根据权利要求1所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：所述步骤S4具体为：训练网络模型，用概率最大的输出作为输出值，用均方根误差RMSE作为损失函数，用负对数似然函数NLL作为验证数据集的关键指标：

其中T_pred为预测的时间步长，(x_t,y_t)为真实的坐标，(x_t',y_t')为预测的坐标。

7.根据权利要求3所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：从预处理后的数据集中选取验证数据集，训练过程中通过将验证数据集计算出当前模型的准确率，再结合训练过程损失函数的变化特征来防止模型发生过拟合。

8.根据权利要求3所述的一种基于长短时记忆网络的多模态车辆轨迹预测方法，其特征在于：保存已经训练完成的模型，从预处理后的数据集中选取测试数据集，将测试数据输入到已训练后的模型中，预测得到车辆未来可能出现的轨迹。

Images