CN114312831B - 一种基于空间注意力机制的车辆轨迹预测方法 - Google Patents

Abstract

本发明公开了一种基于空间注意力机制的车辆轨迹预测方法，包括：S1、获取待预测目标车辆的时序特征f_a；S2、获取待预测目标车辆和周围障碍物的交互特征f_int；S3、获取待预测目标车辆和周围车道环境的注意力特征l_att；S4、根据S1、S2和S3中获取的特征进行车辆的轨迹预测。本发明利用车辆的历史运动特征与周边的环境特征注意力特征，同时生成周边车辆的轨迹交互特征，设置距离影响权重因子，将周边车辆的运动轨迹和注意力特征添加到轨迹预测模块中，进行目标车辆的轨迹预测，提升车辆轨迹预测算法的准确度。

Description

一种基于空间注意力机制的车辆轨迹预测方法

技术领域

本发明涉及轨迹预测技术领域，尤其是涉及一种基于空间注意力机制的车辆轨迹预测方法。

背景技术

自动驾驶车辆在道路中行驶，需要考虑当前时刻周边障碍物车辆的行驶轨迹，对周围车辆的未来行驶轨迹进行预测，从而对自动驾驶车辆的未来行驶轨迹进行规划，进行安全行驶，避免与周边的障碍物车辆发生碰撞事故。准确的预测周边障碍物的未来行驶轨迹，可以让自动驾驶车辆更加稳定的行驶，带来舒适、安全的乘车体验。传统的基于物理的模型或传统机器学习算法的传统方法，如隐马尔可夫模型、支持向量机和动态贝叶斯网络等最早出现在轨迹预测当中，但是传统的模型需要设置大量的参数来进行建模，建立好的模型的适用性也不强。对于部署在复杂交通中的自动驾驶汽车来说，预测周围车辆的运动是一项关键能力。现在的轨迹预测的方法大多数采用神经网络的方法来进行，可以通过大量的数据集来训练适用于大多数环境下的模型。而由于车辆的轨迹会受到周围车辆的影响，因此在轨迹预测中要考虑到周围车辆对目标车辆的影响因素，从而可以大大提高神经网络对车辆轨迹预测的准确率。

在中国专利文献中公开的“一种基于长短时记忆网络的多模态车辆轨迹预测方法”，其公开号为CN113076599A，公开日期为2021-07-06，通过提取目标车辆和周围车辆的历史轨迹信息，然后将每个车辆的轨迹信息通过LSTM对其运动状态进行编码将其组合成为编码序列，提出社会池化，通过将被预测的车辆周围所有车辆的LSTM状态池化为一个社会张量，社会张量应用两个卷积层和一个池化层，获得社会池的位置关系信息，另外，预测车辆的LSTM状态通过全连通层，获得车辆动力学编码，将两种编码串联起来形成完整的轨迹编码，再通过LSTM解码器和混合密度网络，对未来的轨迹信息进行多模态预测，提高无人驾驶车辆的主动安全能力。但是该技术中没有充分考虑静态的场景信息，如道路、车道等环境特征，车辆所在的环境特征，对于轨迹预测算法有重要的作用，精确的提取出目标车辆周围的特征，可以提升车辆轨迹预测算法的准确度。

发明内容

本发明是为了克服现有技术中着重考虑目标车辆与周围障碍物车辆的交互特征进行车辆轨迹预测，缺少对目标车辆周围环境特征进行考虑的问题，提供了一种基于空间注意力机制的车辆轨迹预测方法，利用车辆的历史运动特征与周边的环境特征注意力特征，同时生成周边车辆的轨迹交互特征，设置距离影响权重因子，将周边车辆的运动轨迹和注意力特征添加到轨迹预测模块中，进行目标车辆的轨迹预测，提升车辆轨迹预测算法的准确度。

为了实现上述目的，本发明采用以下技术方案：

一种基于空间注意力机制的车辆轨迹预测方法，包括：

S1、获取待预测目标车辆的时序特征f_a；

S2、获取待预测目标车辆和周围障碍物的交互特征f_int；

S3、获取带预测目标车辆和周围车道环境的注意力特征l_att；

S4、根据S1、S2和S3中获取的特征进行车辆的轨迹预测。

本发明中采用self-attention注意力机制的方式，将目标车辆轨迹与周围的车道特征结合起来形成注意力特征，使得网络在学习的时候，可以关注到周边车道的特征，让车辆轨迹预测结果更加符合实际驾驶规则；同时引入车辆交互特征，通过利用目标车辆和周围车辆的距离信息，设置不同距离的权重因子，将周围车辆的特征乘以权重因子，让目标车辆对周围车辆进行不同程度的关注；结合目标车辆自身的时序特征和注意力特征以及交互特征来进行轨迹预测，提升轨迹预测的准确度。

作为优选，所述S1中包括以下步骤：

S11、采集目标车辆T个时刻的运动特征；

S12、将T个时刻的运动特征进行编码映射成为高维度特征；

S13、通过高维度特征提取目标车辆的时序特征f_a。

本发明中目标车辆的运动特征包括但不仅限于车辆的坐标特征，同样也可以包括速度特征和加速度特征，此外将运动特征进行编码映射到高维度特征的操作可以采用卷积运算或全连接运算符，数据在高维空间下比在低维空间时更易线性可分；再然后将高维度特征送入LSTM长短期记忆神经网络编码模块提取时序特征。

作为优选，所述S2中包括以下步骤：

S21、获取目标车辆周围每个障碍物车辆的时序特征f_s，s为周围的障碍物车辆；

S22、获取每个障碍物车辆与目标车辆之间的距离权重m_s；

S23、对距离权重m_s进行归一化得到权重因子

S24、对每个障碍物车辆的时序特征与对应权重因子的乘积求和得到交互特征f_int。

本发明中每个障碍物车辆到目标车辆的距离各不相同，计算每个障碍物车辆到目标车辆的距离并取倒数作为障碍物车辆的距离权重，并对距离权重进行归一化处理得到权重因子，当障碍物车辆与目标车辆越近时，对目标车辆的影响也越大，对应的权重因子越大；交互特征则反应了目标车辆周围障碍物车辆对其的不同影响程度。

作为优选，所述S3中包括以下步骤：

S31、获取目标车辆周围若干车道的中心线特征并映射成总体高维度特征；

S32、将S31得到的总体高维度特征与目标车辆的时序特征f_a进行维度拼接得到融合特征f_al；

S33、时序特征f_a进行维度映射得到矩阵Q，融合特征f_al进行两次不同的维度映射得到矩阵K和V；

S34、将Q乘以K的转置矩阵并除以维度d_k的平方根，所得结果进行归一化后与矩阵V相乘得到注意力特征l_att，d_k表示K的特征维度。

本发明中考虑目标车辆周围多个车道环境对于车辆轨迹预测的影响，将静态的环境特征和目标车辆的时序特征拼接成融合特征来反映目标车辆和周围车道环境的关系；同时时序特征进行维度映射得到的矩阵Q其维度相对于时序特征不变或升维，同样的矩阵K和V的维度相对于于融合特征不变或升维，且三个矩阵的特征维度相同，从而可以进行运算得到注意力特征。

作为优选，所述目标车辆周围每个障碍物车辆的时序特征f_s的获取方法与获取目标车辆的时序特征f_a的方法相同。

本发明中不管是障碍物车辆还是目标车辆都可以用LSTM长短期记忆神经网络进行时序特征的提取，同时也可以使用RNN循环神经网络或者GRU门控循环单元等时序网络模型进行时序特征的提取。

作为优选，所述S31中，选取目标车辆周围的N条车道中心线，对每条车道中心线进行特征提取后映射到高维度特征，并将这N条车道中心线的高维度特征进行维度拼接得到总体高维度特征。本发明中根据目标车辆的实际情况选择不同数量的车道作为考虑的环境特征，对每条车道中心线进行等间隔采样来提取车道中心线的特征。

作为优选，所述S4中，将时序特征f_a与注意力特征l_att以及交互特征f_int进行拼接后，送入解码器中得到LSTM解码特征，对解码特征进行全连接操作，输出车辆的轨迹预测结果。

本发明具有如下有益效果：利用车辆的历史运动特征与周边的环境特征注意力特征，同时生成周边车辆的轨迹交互特征，设置距离影响权重因子，将周边车辆的运动轨迹和注意力特征添加到轨迹预测模块中，进行目标车辆的轨迹预测，提升车辆轨迹预测算法的准确度；采用注意力机制的方式，将车辆轨迹与周围的车道中心线特征结合起来，使得神经网络在学习的时候，可以关注到周边车道的特征，让车辆轨迹预测结果更加符合实际驾驶规则；引入车辆交互特征，通过利用目标车辆和周围车辆的距离信息，设置不同的权重因子，将周围车辆的特征乘以权重因子，让目标车辆对周围车辆进行不同程度的关注。

附图说明

图1是本发明车辆轨迹预测方法的流程图；

图2是本发明实施例中车辆轨迹预测过程的框图。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的说明。

如图1所示，一种基于空间注意力机制的车辆轨迹预测方法，包括以下步骤：

S1、获取待预测目标车辆的历史运动特征并提取时序特征f_a；

S1中包括有以下步骤：

S11、采集T个不同时刻时目标车辆的运动特征；

S12、将这T个运动特征进行编码映射成为高维度特征；

S13、将高维度特征送入时序网络模型中提取目标车辆的时序特征f_a。

S2、获取待预测目标车辆和周围障碍物的交互特征f_int；

S2中包括有以下步骤：

S21、获取目标车辆周围每个障碍物车辆的时序特征f_s，s表示周围的障碍物车辆；目标车辆周围的每个障碍物车辆的时序特征f_s的获取方法与获取目标车辆的时序特征f_a的方法相同；

S22、获取每个障碍物车辆与目标车辆之间的距离并取倒数得到距离权重m_s；

S23、对距离权重m_s进行归一化处理得到权重因子

S24、对每个障碍物车辆的时序特征f_s与对应权重因子的乘积进行求和得到交互特征f_int。

S3、获取待预测目标车辆和周围车道环境的注意力特征矩阵并计算得到注意力特征l_att；

S3中包括以下步骤：

S31、获取目标车辆周围若干车道的中心线特征并映射成总体高维度特征；选取以目标车辆为中心的周围的N条车道中心线，对每条车道中心线进行特征提取并映射到高维度特征，并将这N条车道中心线的高维度特征进行维度拼接得到车道中心线的总体高维度特征；

S32、将车道中心线的总体高维度特征与目标车辆的时序特征f_a进行维度拼接得到融合特征f_al；

S33、对时序特征f_a进行维度映射得到矩阵Q，对融合特征f_al分别进行两次不同的维度映射得到矩阵K和V；

S34、将矩阵Q乘以K的转置矩阵并除以维度d_k的平方根得到的结果进行归一化后得到注意力特征矩阵，注意力特征矩阵与矩阵V相乘得到注意力特征l_att，d_k表示K的特征维度。

S4、根据S1、S2和S3中获取的特征进行车辆的轨迹预测；将时序特征f_a与注意力特征l_att以及交互特征f_int进行拼接后，送入解码器中得到LSTM解码特征，对解码特征进行全连接操作，输出车辆的轨迹预测结果。

本发明中根据目标车辆的实际情况选择不同数量的车道作为考虑的环境特征，对每条车道中心线进行等间隔采样来提取车道中心线的特征。

本发明中采用self-attention注意力机制的方式，将目标车辆轨迹与周围的车道特征结合起来形成注意力特征，使得网络在学习的时候，可以关注到周边车道的特征，让车辆轨迹预测结果更加符合实际驾驶规则；同时引入车辆交互特征，通过利用目标车辆和周围车辆的距离信息，设置不同距离的权重因子，将周围车辆的特征乘以权重因子，让目标车辆对周围车辆进行不同程度的关注；结合目标车辆自身的时序特征和注意力特征以及交互特征来进行轨迹预测，提升轨迹预测但准确度。

本发明中目标车辆的运动特征包括但不仅限于车辆的坐标特征，同样也可以包括速度特征和加速度特征，此外将运动特征进行编码映射到高维度特征的操作可以采用卷积运算或全连接运算符，数据在高维空间下比在低维空间时更易线性可分；再然后将高维度特征送入LSTM长短期记忆神经网络编码模块提取时序特征。

本发明中每个障碍物车辆到目标车辆的距离各不相同，计算每个障碍物车辆到目标车辆的距离并取倒数作为障碍物车辆的距离权重，并对距离权重进行归一化处理得到权重因子，当障碍物车辆与目标车辆越近时，对目标车辆的影响也越大，对应的权重因子越大；交互特征则反应了目标车辆周围障碍物车辆对其的不同影响程度。

本发明中考虑目标车辆周围多个车道环境对于车辆轨迹预测的影响，将静态的环境特征和目标车辆的时序特征拼接成融合特征来反映目标车辆和周围车道环境的关系；同时时序特征进行维度映射得到的矩阵Q其维度相对于时序特征不变或升维，同样的矩阵K和V的维度相对于于融合特征不变或升维，且三个矩阵的特征维度相同，从而可以进行运算得到注意力特征。

本发明中不管是障碍物车辆还是目标车辆都可以用LSTM长短期记忆神经网络进行时序特征的提取，同时也可以使用RNN循环神经网络或者GRU门控循环单元等时序网络模型进行时序特征的提取。

在本发明的实施例中，采用如图2所示的车辆轨迹预测方法对待预测的目标车辆进行轨迹预测。需要对目标车辆、目标车辆周围的障碍物车辆和目标车辆周围的车道共三组对象进行特征提取。

首先提取待预测目标车辆的历史运动特征和时序特征f_a，即提取目标车辆在T个不同时刻的运动特征，包括具体的坐标信息(x，y)。对该T个时刻的运动特征采用卷积运算进行编码映射，映射到高维度特征。然后将目标车辆的高维度特征送入长短期记忆神经网络编码模块，提取目标车辆的时序特征f_a。

其次提取待预测目标车辆和周围障碍物车辆的交互特征f_int，选取目标车辆周围的障碍物车辆，获取每个障碍物车辆的历史运动特征即在T个不同时刻的坐标信息，采用卷积运算进行编码映射，得到高维度特征。将每个障碍物车辆的高维度特征送入LSTM编码模块，得到每个障碍物车辆的时序特征f_s，其中s表示周围的障碍物车辆，总的障碍物车辆共有Z辆。计算每个障碍物车辆与目标车辆的距离，对距离取倒数，得到距离权重m_s。采用目标车辆当前时刻所在的坐标点和周围障碍物车辆当前时刻所在坐标点的欧式距离作为两者距离。距离权重计算公式如下：

(x_t，y_t)表示目标车辆当前时刻的坐标点，(x_s，y_s)表示周围障碍物车辆当前时刻的坐标点,λ表示超参数，m_s表示距离权重，其中超参数λ是提前设定的数值，其具体数据的选取由目标车辆所在的道路决定，如高速公路、城市道路和高架桥等车辆行驶的道路不同超参数的选取也不相同。

此外距离越近的障碍物车辆，对目标车辆的影响越大，其距离权重也越大。将每个障碍物车辆的距离权重m_s进行归一化操作得到权重因子

其中Z表示目标车辆周围共有Z辆障碍物车辆，利用归一化后的权重因子乘以障碍物车辆对应的时序特征f_s，并对所有障碍物车辆的特征进行汇总，得到交互特征向量f_int。

然后采用self-attention注意力机制获取待预测目标车辆和周围车道环境的注意力特征l_att，获取目标车辆的历史轨迹中当前时刻对应的车辆坐标点，以该坐标点为中心，选取周围的N条车道中心线，对每条车道中心线进行等间隔采样，每条车道中心线划分成M个点，这样划分后，共有N条M个等间隔点。对这N条车道中心线中每条车道中心线的M个等间隔点进行特征提取，并进行卷积运算操作，将车道中心线的特征映射到更高的维度。对每条车道中心线的高维度特征进行LSTM编码，先将这N条车道中心线的LSTM特征进行维度拼接，再与目标车辆的时序特征f_a进行维度拼接，得到目标车辆与所有车道中心线的融合特征f_al。对目标车辆的时序特征f_a进行维度映射得到矩阵Q。对目标车辆与所有车道中心线的融合特征f_al分别进行两次不同的维度映射得到矩阵K和矩阵V。矩阵Q、矩阵K和矩阵V的特征维度相同，同时矩阵K和矩阵V的行数也相同。将Q与K的转置矩阵进行相乘，并除以维度d_k的平方根，再进行softmax归一化操作得到注意力特征矩阵，其中d_k表示矩阵K的特征维度。将注意力特征矩阵与矩阵V进行相乘，得到目标车辆和车道中心线的注意力特征l_att。

将目标车辆的时序特征f_a、目标车辆和车道中心线的注意力特征l_att以及目标车辆周围的障碍物车辆的交互特征f_int进行拼接得到[f_a；l_att；f_int]，然后送入解码器中的LSTM编码模块得到LSTM解码特征后，对解码特征进行全连接操作，最终输出目标车辆的轨迹预测结果。

上述实施例是对本发明的进一步阐述和说明，以便于理解，并不是对本发明的任何限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，包括：

S1、获取待预测目标车辆的时序特征f_a；

S2、获取待预测目标车辆和周围障碍物的交互特征f_int；

S3、获取待预测目标车辆和周围车道环境的注意力特征l_att；

S31、获取目标车辆周围若干车道的中心线特征并映射成总体高维度特征；

S32、将S31得到的总体高维度特征与目标车辆的时序特征f_a进行维度拼接得到融合特征f_al；

S33、时序特征f_a进行维度映射得到矩阵Q，融合特征f_al进行两次不同的维度映射得到矩阵K和V；

S34、将Q乘以K的转置矩阵并除以d_k的平方根，所得结果进行归一化后与矩阵V相乘得到注意力特征l_att，d_k表示K的特征维度；

S4、根据S1、S2和S3中获取的特征进行车辆的轨迹预测。

2.根据权利要求1所述的一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，所述S1中包括以下步骤：

S11、采集目标车辆T个时刻的运动特征；

S12、将T个时刻的运动特征进行编码映射成为高维度特征；

S13、通过高维度特征提取目标车辆的时序特征f_a。

3.根据权利要求1或2所述的一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，所述S2中包括以下步骤：

S21、获取目标车辆周围每个障碍物车辆的时序特征f_s，s为周围的障碍物车辆；

S22、获取每个障碍物车辆与目标车辆之间的距离权重m_s；

S23、对距离权重m_s进行归一化得到权重因子

S24、对每个障碍物车辆的时序特征与对应权重因子的乘积求和得到交互特征f_int。

4.根据权利要求3所述的一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，所述目标车辆周围每个障碍物车辆的时序特征f_s的获取方法与获取目标车辆的时序特征f_a的方法相同。

5.根据权利要求1所述的一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，所述S31中，选取目标车辆周围的N条车道中心线，对每条车道中心线进行特征提取后映射到高维度特征，并将这N条车道中心线的高维度特征进行维度拼接得到总体高维度特征。

6.根据权利要求1或2或4或5所述的一种基于空间注意力机制的车辆轨迹预测方法，其特征在于，所述S4中，将时序特征f_a与注意力特征l_att以及交互特征f_int进行拼接后，送入解码器中得到LSTM解码特征，对解码特征进行全连接操作，输出车辆的轨迹预测结果。