CN117141517A

CN117141517A - 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法

Info

Publication number: CN117141517A
Application number: CN202311179871.XA
Authority: CN
Inventors: 郭景华; 王靖瑶; 何智飞; 李录斌; 焦一洲; 王晖年
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2023-09-13
Filing date: 2023-09-13
Publication date: 2023-12-01

Abstract

数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，涉及智能驾驶。步骤：1)数据的处理：将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，获得实现车辆运动预测所需的数据；2)采用编码器‑解码器框架，提出一种基于意图感知时空注意网络的车辆轨迹预测模型；3)提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据。通过自动驾驶汽车配备的传感器采集的周车行驶信息，利用深度学习网络对周车的驾驶意图和行驶轨迹进行联合预测，提升长期轨迹预测的精度，实现更准确的位置预测，为车辆提供丰富的决策信息以保证车辆的行驶安全。

Description

数据驱动与知识引导相结合的车辆轨迹预测模型构建方法

技术领域

本发明涉及智能驾驶技术领域，特别是涉及一种数据驱动与知识引导相结合的车辆轨迹预测模型构建方法。

背景技术

近年来自动驾驶汽车作为改善交通安全、缓解智能交通***能源和环境问题的有效途径，越来越受到人们的关注。自动驾驶汽车需要具有预测周围车辆未来移动的能力，以便能提前规划安全的驾驶路径，有效减少交通事故。在自动驾驶的背景下，对自动驾驶车辆周围车辆运动的早期预测是确保高水平道路安全的关键因素。车辆运动预测主要有两种类型：驾驶意图识别和轨迹预测。

随着人工智能的快速发展，深度学习的最新进展为解决车辆运动预测问题提供强有力的工具，基于深度学习的车辆运动预测方法成为主流。文献(Ding W,etc.PredictingVehicle Behaviors Over An Extended Horizon Using Behavior InteractionNetwork,2019International Conference on Robotics and Automation(ICRA).2019,Montreal,Canada.)提出一种基于循环神经网络(RNN)的新型车辆行为交互网络用于车辆交互建模，以预测周围车辆的切入意图，然而，意图识别无法得到明确的轨迹信息。文献(Deo N,Trivedi M M.Convolutional social pooling for vehicle trajectoryprediction[C].Proceedings 2018IEEE/CVF Conference on Computer Vision andPattern Recognition Workshops(CVPRW),2018:1549-1557.)提出一种经典的Convolution Social LSTM预测算法，使用卷积社会池来学习车辆运动中的相互依赖性，虽然目前基于深度学习的轨迹预测方法已获得不错的效果，但种这种基于数据驱动的黑盒模型缺乏可解释性和透明度；另外，对车辆的运动预测单独考虑驾驶意图识别或轨迹预测，为后续主车提供的决策信息较为单一。

发明内容

本发明的目的是针对上述背景技术中存在的问题，提供一种实现数据驱动与知识引导相结合的车辆轨迹预测方法，该方法通过自动驾驶汽车配备的传感器采集的周车行驶信息，利用深度学习网络对周车的驾驶意图和行驶轨迹进行联合预测，为车辆提供丰富的决策信息以保证车辆的行驶安全。

为达到上述目的，本发明采用的技术方案如下：

本发明包括以下步骤：

1)数据的处理：将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，获得实现车辆运动预测所需的数据；

2)采用编码器-解码器框架，提出一种基于意图感知时空注意网络的车辆轨迹预测模型；

第一步，构建基于LSTM的编码器-解码器框架的轨迹预测模型；

第二步，构建基于BiLSTM的意图识别模型，对周车的驾驶意图进行识别；

第三步，引入一种意图注意力机制提升时序问题预测的效果；

第四步，基于意图注意机制计算获得的车辆特征编码向量，利用交互关系捕捉模块来捕获邻居车辆的重要性；

第五步，同时结合周车的位置信息、驾驶意图和交互关系对周车进行较长时域的轨迹预测；

第六步，从硬约束和软约束两个方面进行考虑，在提出的意图感知时空注意网络轨迹预测模型的基础上，添加运动学层和引入交通规则辅助损失函数，以提高该数据驱动模型的性能。

3)提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据；

在步骤1)中，所述将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，具体方法为：

第一步，由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据主要有：周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率。

第二步，对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3-σ法则对数据的异常值进行去除，最后使用Savitzky-Golay滤波器对数据进行滤波从而得到比较光滑的数据曲线。

第三步，定义坐标系以方便描述车辆的位置，计算主车和周车各个时刻的位置坐标。

第四步，将周车驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签。

在步骤2)中，所述基于意图感知时空注意网络的车辆轨迹预测模型，为了捕获轨迹中的时间依赖关系，采用基于LSTM的编码器-解码器框架建立该模型，这是处理轨迹预测问题的最先进体系结构，具体步骤包括：

第一步，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，然后利用LSTM分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量。

第二步，对周车驾驶意图进行预测的具体方法为：

(1)周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类。

(2)基于BiLSTM网络构建周车驾驶意图识别模型，BiLSTM网络是由前向LSTM与后向LSTM组合而成，它可以充分利用上下文的信息，来提高时间序列预测结果的准确性。

(3)受ResNet的启发，在Bi-LSTM网络中添加shortcutconnections，实现了梯度的跨步计算，能有效减小深层网络梯度消失和网络退化问题的影响。

(4)将目标车辆的运动状态及邻居车辆的空间位置信息输入驾驶意图识别模型，输出周车的驾驶意图概率向量，概率最大的驾驶意图即为最终的识别结果。

第三步，意图注意力机制的具体方法为：

(1)首先将目标车辆的意图向量和解码器上一时刻的隐藏状态向量用拼接操作拼接起来，然后由完全连接层处理获得的向量来做为键值对注意力机制中的“查询”，将编码器编码的车辆隐藏状态由全连接层和处理，形成“键”和“值”；

(2)然后将注意力特征计算为“值”的加权和。

(3)采用多头注意力机制以将注意力扩展到高阶交互。

第四步，基于多头注意力机制提出交互关系捕捉模块用于捕捉目标车辆与其他车辆之间的交互，并在预测目标车辆未来轨迹时选择周围车辆进行关注。

第五步，在进行第t时间步预测时，解码器也采用具有LeakyReLU非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量，此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到LSTM解码器，LSTM解码器预测生成目标车辆未来时间步长的轨迹点位置。

第六步，在解码器最终的隐藏层与输出层之间添加一个嵌入双轮自行车运动学模型的运动学层来解码轨迹，以实现更准确的位置预测。

(1)运动学模型的输入为前轮转向角和纵向加速度。当前时刻为t_p，在准备预测第t_p+h时间步的运动时，解码器先通过LSTM预测获得t_p+h-1时间步目标车辆的纵向加速度a_tp+h-1和转向角δ_tp+h-1，再利用它们来计算获得目标车辆在t_p+h时间步的运动状态。

(2)用一个全连接层处理目标车辆历史信息编码LSTM单元最后时刻的隐藏状态向量，估计车辆的固定运动学参数。

第七步，基于当前数据集可利用的一些交通规则设计了辅助损失函数，引导模型按照符合的知识的方向进行训练，使模型对知识的适应性更强。

(1)根据交通规则与社会惯例，车辆在车道上行驶时必须沿车道行驶方向行驶，以免干扰其他交通。引入偏离航向损失来衡量轨迹在所处车道方向上定向的能力。

(2)根据交通规则的要求，车辆在公路上行驶时一般有最高时速的限制。引入超速损失来衡量所预测的轨迹控速度不超过最高时速的能力。

(3)为了驱使从训练数据中学习的模型也符合某些可接受的知识规则，损失函数在均方误差的基础上并入车道偏航损失和超速损失。

在步骤3)中，所述根据联合预测的结果为主车的后续操纵提供丰富的信息依据，具体步骤为：经过驾驶意图和轨迹的联合预测，获得周车当前的驾驶意图和其后续一段时间的轨迹位置；根据识别的驾驶意图可以大致判断其短时间内的行为，为主车操纵预留反应时间，降低车辆碰撞的风险，保证驾驶的安全性；主车根据预测获得的周车后续一段时间内的轨迹位置，提前做好路径规划，可获得到达目的地的最优操纵选择，既保证驾驶的舒适性，又减少无用的能耗。

本发明的有益效果在于：

1、针对当前车辆轨迹预测研究中忽视邻居车辆的交互关系、未充分提取车辆信息特征与未深入考虑驾驶意图的影响等问题，提出一种基于意图感知时空注意网络的车辆轨迹预测算法，以提升长期轨迹预测的精度。

2、在意图感知时空注意网络轨迹预测的基础上融入车辆运动学硬约束，添加一个嵌入双轮自行车运动学模型的运动学层来生成符合车辆运动学轨迹，实现更准确的位置预测。

3、利用一些交通规则相关的知识，设计基于知识约束惩罚的辅助损失函数来优化模型的训练，以提高模型的可解释性。

附图说明

图1为本发明的方法框架示意图。

图2为本发明的邻居车辆示意图。

图3为本发明的车辆驾驶意图分类示意图。

图4为本发明的基于意图感知时空注意网络的车辆轨迹预测模型示意图。

图5为本发明意图注意力机制示意图。

图6为本发明的交互关系捕捉示意图。

图7为本发明的固定运动学参数l_f和l_r的估计过程示意图。

图8为本发明的添加运动学层的解码器示意图。

具体实施方式

下面实施例将结合附图对本发明作进一步的说明。

本发明的方法框架如图1所示，由数据的处理、周车意图识别和轨迹预测的联合预测、提供决策信息三个部分组成，包括以下步骤：

步骤1：数据的处理步骤如下：

步骤1.1：获取由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据：周车与主车的纵向距离、横向距离、纵向速度、横向速度、纵向加速度及横向加速度。

步骤1.2：对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充。对于数据中存在的异常值，采用3-σ准则对异常值进行去除，计算各个特征的标准差σ和均值μ，去除数值分布在(μ-3σ,μ+3σ)区间外的数据。最后采用Savitzky-Golay滤波器对数据进行滤波，在原始数据x(i)附近取M个采样点，并在x周围构建一个2M+1个采样点的窗口来拟合p阶多项式y(i)，其表达式为：

式中，y(i)是处理后的数据，i＝-M,…,0,…,；E是总的误差平方和；p≤2M。

步骤1.3：定义坐标系，图2为本发明的邻居车辆示意图，将在目标车辆一定纵向范围±L内的6辆车定义为邻居车辆，椭圆虚线内除目标车辆外的其他车辆为邻居车辆；在t时刻预测，原点固定在主车上，x轴指向高速公路的运动方向，y轴指向与之垂直的方向。这使得本发明的数据获取更好地与自动驾驶车辆上的车载传感器相匹配。

步骤1.4：由文献(Toledo T,etc.Modeling duration of lane changes[J].Transportation Research Record,2007,1999(1).)知市区内车道变更的平均持续时间为5s，高速公路上的平均持续时间为5.8s，综合考虑将换道时间设置为5.4s；图3为本发明的车辆驾驶意图分类示意图，如图所示，车辆轨迹与左道路虚线的交点为左换道点，将沿左换道点的逆时间方向2.7s时刻车辆所处的位置定义为左换道起点，将沿左换道点的顺时间方向2.7s时刻车辆所处的位置定义为左换道终点；轨迹序列中包含左换道片段定义为向左换道意图；基于同样的方法定义向右换道意图；如果车辆轨迹序列不包含换道片段，则将此轨迹片段定义为车道保持意图。依据此规则为每段行驶数据设置意图标签。

步骤2：对周车驾驶意图和轨迹进行联合预测，基于意图感知时空注意网络的车辆轨迹预测模型示意图如图4所示，实施步骤如下：

步骤2.1：使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，然后利用LSTM分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量。

步骤2.1.1：对目标车辆及其周围邻居车辆从过去一段时间t_p-t_h到t_p的历史状态信息进行编码。首先使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量/>

式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，W_emb代表用于学习的嵌入层权重。

步骤2.1.2：利用LSTM分别将不同车辆从t_p-t_h至t_p时刻这一时间段的嵌入向量进行编码：

式中，代表车辆i在时间步t的LSTM单元体的隐藏状态，W_enc代表LSTM的权重矩阵。

步骤2.1.3：对于目标车辆及其周围邻居车辆，将获得的相应特征向量记为其中/>d_e为LSTM的隐藏单元数量。

步骤2.2：构建基于BiLSTM网络的意图识别模型，对周车的驾驶意图进行识别的步骤如下：

步骤2.2.1：考虑到一次完整的换道时间在5s左右，且数据的采集频率为10Hz，因此输入序列的长度选择为50。周车驾驶意图被标记为向左换道、向右换道和直行3种。周车意图识别是一个分类问题，需要对输入序列设置相应的标签，本发明分别用0、1、2表示上述3种意图。

步骤2.2.2：将目标车辆的运动状态作为输入，同时将邻居车辆的空间位置信息纳入考虑，意图识别的输入特征如下：

I_t＝[s_t,Δs_t]

式中，s_t为目标车辆的运动状态特征，v_t代表当前时刻t目标车辆的速度，a_t代表车辆的加速度，v_xt代表车辆的横向速度。为速度评估指标，v_e代表驾驶员的预期速度。Δs_t为目标车辆的交互状态特征，/>代表目标车辆与邻居车辆的相对横向位移，/>代表目标车辆与邻居车辆的相对纵向位移，i代表邻居车辆，i＝1,2,...,6。

步骤2.2.3：使用全连接层嵌入输入向量I_t以形成一个嵌入向量e_t，然后将时刻t_p-t_h至当前预测时刻t_p的嵌入向量送入Bi-LSTM。表达式如下：

h_t＝BiLSTM(h_t-1,e_t；W_bi) (4)

式中，代表一个全连接层，W_fe代表嵌入全连接层的权重矩阵。_t代表t时刻Bi-LSTM单元体的隐藏状态，W_bi代表Bi-LSTM层的权重矩阵。

步骤2.2.4：本发明引入shortcut connections，使用一个FC层处理输入向量I_t，得到一个固定长度的向量r_t，其长度与BiLSTM输出向量h_t相同。通过将向量r^t和BiLSTM输出向量h^t执行add操作构建shortcut connection，再用ReLU进行激活获得更新后的输出向量如下式：

式中，W_r代表该全连接层的权重矩阵。

步骤2.2.5：t_p时间步的输出向量h_t经FC层处理后，再使用Softmax函数进行计算，获得3种驾驶意图的概率，即车道保持LK、向左换道LLC和向右换道RLC的概率，如下式：

式中，代表意图类别向量，其中/>分别代表三种驾驶意图的概率；W_f代表该全连接层的权重矩阵。

步骤2.3：构建一种意图注意机制，结合意图特征向目标车辆及其周围邻居车辆的隐藏状态分配不同历史时间步下的注意力权值，在时间维度上有效提取车辆的轨迹特征，可根据驾驶意图动态调整，参考图5，为本发明的意图注意机制示意图，具体步骤如下：

步骤2.3.1：将目标车辆的意图向量和解码器上一时刻的隐藏状态向量p_t-1用拼接操作拼接起来，然后由完全连接层θ_l处理获得的向量来做为键值对注意力机制中的“查询”Q_l，将编码器编码的车辆隐藏状态H_i由全连接层φ_l和ρ_l处理，形成“键”K_l和“值”V_l。公式如下：

K_l＝φ_l(H_i；W_φl)

V_l＝ρ_l(H_i；W_ρl)

式中，和/>代表在每个注意头l中要学习的权值矩阵，Concat代表拼接操作。

步骤2.3.2：将注意力特征head_l计算为“值”v_lj的加权和，计算公式如下：

式中，α_lj代表注意力权重，这里采用点积注意(Dot-product Attention)[22]的方法计算获得：d代表缩放因子，等于投影空间的维数。

步骤2.3.3：采用多头注意力机制以将注意力扩展到高阶交互。使用不同的学习线性投影Q_l、K_l和V_l计算了n_h个注意力特征head_l，l＝1,2,...,n_h。然后，将这些注意力特征head_l拼接在一起，并使用完全连接层进行处理：

式中，z_t代表解码器进行t时间步预测时所获得的车辆历史轨迹特征编码向量，这里将意图注意机制提取的目标车辆和周围车辆的特征向量表示为W_iq代表该全连接层的权重矩阵。

步骤2.4：基于多头注意力机制提出交互关系捕捉模块用于捕捉目标车辆与其他车辆之间的交互，并在预测目标车辆未来轨迹时选择周围车辆进行关注。参考图6，为本发明的交互关系捕捉示意图，具体步骤如下：

步骤2.4.1：由完全连接层θ_s处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量/>由全连接层φ_s和ρ_s处理形成“键”和“值”，长方体Z_t由六个小长方体组成，代表六个邻居车辆的特征向量，空白透明的长方体代表该位置不存在邻居车辆。与意图注意机制相同，“查询”Q_s、“键”K_s和“值”V_s采用缩放点积注意机制计算，并使用多头注意来增强模型的表示能力，公式如下：

K_s＝φ_s(Z_t；W_φs)

V_s＝ρ_s(Z_t；W_ρs)

式中，c_t代表解码器进行t时间步预测时结合了所有车辆交互信息的中间语义向量，α_sj代表邻居车辆与目标车辆的相关程度，head_s代表具有周围邻居车辆交互关系的注意力特征，n_h代表并行计算的注意力特征个数，和W_si代表对应变换的可学习权重矩阵。

步骤2.5：同时结合周车的位置信息、驾驶意图和交互关系对周车进行较长时域的轨迹预测，具体步骤如下：

步骤2.5.1：在进行第t时间步预测时，解码器也采用具有LeakyReLU非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标Y_t-1并形成嵌入向量e_t：

e_t＝ψ(Y_t-1；W_ed)

式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，W_es代表用于学习的嵌入层权重。

此时的中间语义向量C_t包含选定的车辆交互信息c_t以及目标车辆的运动状态编码与嵌入向量e_t一起被输送到LSTM解码器：

U_t＝Concat(C_t,e_t)

式中，U_t代表在进行第t时间步预测时LSTM解码器的输入向量，Concat代表拼接操作。

LSTM解码器预测生成目标车辆未来时间步长t＝t_p+1,t_p+2,...,t_p+t_f的轨迹点位置。解码器中还添加了与意图识别模块中相同的快捷连接。公式如下：

p_t＝LSTM(p_t-1,U_t；W_dec)

式中，p_t代表解码器LSTM的隐藏状态向量，代表引入快捷连接得到的新状态向量，W_dec，W_d和W_p为权重矩阵。

步骤2.6：在解码器最终的隐藏层与输出层之间添加一个嵌入双轮自行车运动学模型的运动学层来解码轨迹，以实现更准确的位置预测，具体步骤如下：

步骤2.6.1：运动学模型的输入为前轮转向角δ和纵向加速度a。当前时刻为t_p，在准备预测第t_p+h时间步的运动时，解码器先通过LSTM预测获得t_p+h-1时间步目标车辆的纵向加速度和转向角/>再利用它们来计算获得目标车辆在t_p+h时间步的运动状态，公式如下：

式中，代表解码器获得的目标车辆运动状态，包括车辆的横向坐标/>和纵向坐标/>车辆横摆角/>和车辆速度/>k代表车辆的固定运动学参数，在这里包含车辆质心到前轴的距离l_f和到后轴的距离l_r；f代表双轮车辆运动学数学模型。/>的具体计算如下：

其中，Δt代表两个预测时间步的时间间隔；代表状态的导数，计算表达式如下所示：

步骤2.6.2：通过车辆的历史状态信息对车辆质心到前轴的距离l_f和到后轴的距离l_r等固定运动学参数进行估计，用一个FC层处理目标车辆历史信息编码LSTM单元最后时刻的隐藏状态向量估计车辆的固定运动学参数l_f和l_r，参考图7，公式如下：

式中，代表全连接层，W_fr代表该全连接层的权重矩阵。根据中型轿车的特征将l_f和l_r的阈值设定为[1m，2m]：

步骤2.6.3：解码器首先生成前轮转向角δ_t-1和纵向加速度a_t-1，公式如下：

式中，p_t代表解码器LSTM的隐藏状态向量，代表引入快捷连接得到的新状态向量，W_p为权重矩阵。同样根据中型轿车的特征，将前轮转向角δ_t的阈值设定为[-45°，45°]，纵向加速度a_t的阈值设定为[-8m/s²，8m/s²]。

步骤2.6.4：添加运动学层的解码器结构如图8所示。将步骤2.5中解码器的输入由目标车辆前一时刻的位置坐标Y_t-1改变为前两个时间步的前轮转向角δ_t-2和纵向加速度a_t-2，经过嵌入全连接层处理形成嵌入向量e_t：

e_t＝ψ(δ_t-1,a_t-1；W_ed)

式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，W_ed代表用于学习的嵌入层权重；解码器的初始输入设为0。

步骤2.6.5：再由编码单元获得的l_f和l_r、解码器获得的上一时间步的前轮转向角δ_t-1、纵向加速度a_t-1以及上一时间步的运动状态s_t-1，通过步骤2.6.1计算获得当前时间步的运动状态s_t。

步骤2.7：基于当前数据集可利用的一些交通规则设计了辅助损失函数，引导模型按照符合的知识的方向进行训练，使模型对知识的适应性更强，具体步骤如下：

步骤2.7.1：引入偏离航向损失来衡量轨迹在所处车道方向上定向的能力。

步骤2.7.1.1：车辆在轨迹点(x_t,y_t)处的航向角θ_t计算如下：

步骤2.7.1.2：全局帧中的轨迹点航向角θ_t和最近车道的航向θ_NL之间的角度差可计算如下：

δ(θ_t)＝|θ_t-θ_NL|

式中，针对本文研究对象为水平直道车道，取θ_NL＝0°。

步骤2.7.1.3：通常为了保持在车道内，会对车辆航向进行微小的调整。除了此之外，航向角仅在车辆变道时发生变化，在此期间，车辆一般以不超过90°的航向角执行变道机动，通常远小于90°。由于在合法的变道过程中，或者在小角度的车道修正过程中，车辆轨迹不应被认为是偏航，因此将约束限制为仅惩罚超过阈值α的角度差，表达式如下：

取α＝45°。对于预测时域范围t_f内所有的轨迹点，基于偏离航向约束损失的表达式如下：

步骤2.7.2：引入超速损失来衡量所预测的轨迹控速度不超过最高时速的能力。

步骤2.7.2.1：将纵向速度值当作车辆的速度，可以根据车辆预测的轨迹位置来计算车辆的纵向速度，公式如下：

式中，v_t代表车辆在轨迹点(x_t,y_t)处的纵向速度，Δt代表两个预测时间步的时间间隔。

步骤2.7.2.2：将约束限制为仅惩罚超过最高时速限制v_m的速度差，表达式如下：

步骤2.7.2.3：超速损失使用二次函数的目的是可容忍与最佳驾驶情况的轻微偏差，而且在惩罚异常轨迹的同时仍然允许其存在，符合真实驾驶情况。最后便可计算预测时域范围t_f内所有的轨迹点的超速损失，表达式如下：

对于不同的道路情况，有着不同的最高时速限制。针对实验数据集，取最高时速限制v_m＝120km/h进行研究。

步骤2.7.3：分别对意图识别模型和轨迹预测模型并进行训练。对于意图识别模型，选用交叉熵作为损失函数，初始学习率为0.0005的Adam优化器用于以端到端的方式训练网络。对于轨迹预测模型，使用初始学习率为0.0005的Adam优化器进行训练。为了驱使从训练数据中学习的模型也符合某些可接受的知识规则，损失函数在均方误差L_MSE的基础上并入车道偏航损失和超速损失，公式如下：

L_total＝L_MSE+λ_OHL_OH+λ_vL_v (5)

式中，λ_OE和λ_v分别代表偏离航向损失和超速损失所占的权重，是由经验确定的超参数。分别代表预测轨迹的横向坐标和纵向坐标，x_t、y_t分别代表真实轨迹的横向坐标和纵向坐标。t_p代表当前时刻，t_f代表预测的时长。

综上所述，本发明形成的一种实现自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法，可以同时识别周车的驾驶意图和预测周车较长时域内的轨迹，为车辆提供丰富的决策信息；考虑驾驶意图特征和注意力机制的轨迹预测，能保证长期轨迹预测的效果；针对意图识别和轨迹预测的不同特点，合理选择不同的输入特征进行预测，既节省计算成本，又能提高预测效率。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。

Claims

1.数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于包括以下步骤：

1)数据的处理：将车辆配备的摄像头、毫米波雷达等车载传感器采集的周车行驶数据进行处理，对数据的缺失值进行填补，使用Savitzky-Golay滤波器对数据进行滤波得到比较光滑的数据曲线；设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，获得实现车辆运动预测所需的数据；所述周车行驶数据包括周车与主车的纵向距离、横向距离、纵向相对速度、横向相对速度、纵向相对加速度、横向相对加速度，周车相对于主车的方位角以及方位角变化率；

第四步，基于意图注意机制计算获得的车辆特征编码向量，利用交互关系捕捉模块捕获邻居车辆的重要性；

第五步，结合周车的位置信息、驾驶意图和交互关系对周车进行较长时域的轨迹预测；

第六步，从硬约束和软约束两个方面进行考虑，在提出的意图感知时空注意网络轨迹预测模型的基础上，添加运动学层和引入交通规则辅助损失函数，以提高该数据驱动模型的性能；

3)提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据。

2.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤1)中，所述数据的处理，具体方法为：

步骤1.1：获取由车辆配备的摄像头、毫米波雷达等车载传感器采集到的周车行驶数据；

步骤1.2：对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充；对于数据中存在的异常值，采用3-σ准则对异常值进行去除，计算各个特征的标准差σ和均值μ，去除数值分布在(μ-3σ,μ+3σ)区间外的数据；最后采用Savitzky-Golay滤波器对数据进行滤波，在原始数据x(i)附近取M个采样点，并在x周围构建一个2M+1个采样点的窗口来拟合p阶多项式y(i)，其表达式为：

式中，y(i)是处理后的数据，i＝-M,…,0,…,M；E是总的误差平方和；p≤2M；

步骤1.3：定义坐标系，将在目标车辆一定纵向范围±L内的车辆定义为邻居车辆，椭圆虚线内除目标车辆外的其他车辆为邻居车辆；在t时刻预测，原点固定在主车上，x轴指向高速公路的运动方向，y轴指向与之垂直的方向；使数据获取更好地与自动驾驶车辆上的车载传感器相匹配；

步骤1.4：将周车驾驶意图定义为向左换道、向右换道和直行，为每段行驶序列数据设置意图标签。

3.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述基于意图感知时空注意网络的车辆轨迹预测模型，为了捕获轨迹中的时间依赖关系，采用基于LSTM的编码器-解码器框架建立该模型，具体步骤包括：

第一步，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，利用LSTM分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量；

第二步，对周车驾驶意图进行预测：

(1)周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类；

(2)基于BiLSTM网络构建周车驾驶意图识别模型，BiLSTM网络是由前向LSTM与后向LSTM组合而成，利用上下文的信息，提高时间序列预测结果的准确性；

(3)在Bi-LSTM网络中添加shortcutconnections，实现梯度的跨步计算，有效减小深层网络梯度消失和网络退化问题的影响；

(4)将目标车辆的运动状态及邻居车辆的空间位置信息输入驾驶意图识别模型，输出周车的驾驶意图概率向量，概率最大的驾驶意图即为最终的识别结果；

第三步，意图注意力机制：

(1)将目标车辆的意图向量和解码器上一时刻的隐藏状态向量用拼接操作拼接起来，由完全连接层处理获得的向量来做为键值对注意力机制中的“查询”，将编码器编码的车辆隐藏状态由全连接层和处理，形成“键”和“值”；

(2)将注意力特征计算为“值”的加权和；

(3)采用多头注意力机制以将注意力扩展到高阶交互；

第四步，基于多头注意力机制提出交互关系捕捉模块用于捕捉目标车辆与其他车辆之间的交互，在预测目标车辆未来轨迹时选择周围车辆进行关注；

第五步，在进行第t时间步预测时，解码器也采用具有LeakyReLU非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量，此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到LSTM解码器，LSTM解码器预测生成目标车辆未来时间步长的轨迹点位置；

第六步，在解码器最终的隐藏层与输出层之间添加一个嵌入双轮自行车运动学模型的运动学层来解码轨迹，以实现更准确的位置预测；

(1)运动学模型的输入为前轮转向角和纵向加速度；当前时刻为t_p，在准备预测第t_p+h时间步的运动时，解码器先通过LSTM预测获得t_p+h-1时间步目标车辆的纵向加速度和转向角/>再利用它们来计算获得目标车辆在t_p+h时间步的运动状态；

(2)用一个全连接层处理目标车辆历史信息编码LSTM单元最后时刻的隐藏状态向量，估计车辆的固定运动学参数；

第七步，基于当前数据集可利用的一些交通规则设计辅助损失函数，引导模型按照符合的知识的方向进行训练，使模型对知识的适应性更强；

(1)根据交通规则与社会惯例，车辆在车道上行驶时必须沿车道行驶方向行驶，以免干扰其他交通；引入偏离航向损失来衡量轨迹在所处车道方向上定向的能力；

(2)根据交通规则的要求，车辆在公路上行驶时一般有最高时速的限制；引入超速损失来衡量所预测的轨迹控速度不超过最高时速的能力；

4.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述构建基于LSTM的编码器-解码器框架的轨迹预测模型，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，利用LSTM分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量，包括步骤：

步骤2.1.1：对目标车辆及其周围邻居车辆从过去一段时间t_p-t_h到t_p的历史状态信息进行编码；使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量/>

式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，W_emb代表用于学习的嵌入层权重；

式中，代表车辆i在时间步t的LSTM单元体的隐藏状态，W_enc代表LSTM的权重矩阵；

5.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述构建基于BiLSTM的意图识别模型，具体步骤为：

步骤2.2.1：考虑一次完整的换道时间在5s左右，且数据的采集频率为10Hz，因此输入序列的长度选择为50；周车驾驶意图被标记为向左换道、向右换道和直行3种；周车意图识别是一个分类问题，对输入序列设置相应的标签；

I_t＝[s_t,Δs_t]

式中，s_t为目标车辆的运动状态特征，v_t代表当前时刻t目标车辆的速度，a_t代表车辆的加速度，v_xt代表车辆的横向速度；为速度评估指标，v_e代表驾驶员的预期速度；Δs_t为目标车辆的交互状态特征，/>代表目标车辆与邻居车辆的相对横向位移，/>代表目标车辆与邻居车辆的相对纵向位移，i代表邻居车辆，i＝1,2,...,6；

步骤2.2.3：使用全连接层嵌入输入向量I_t以形成一个嵌入向量e_t，将时刻t_p-t_h至当前预测时刻t_p的嵌入向量送入Bi-LSTM；表达式如下：

h_t＝BiLSTM(h_t-1,e_t；W_bi) (2)

式中，代表一个全连接层，W_fe代表嵌入全连接层的权重矩阵；_t代表t时刻Bi-LSTM单元体的隐藏状态，W_bi代表Bi-LSTM层的权重矩阵；

步骤2.2.4：引入shortcut connections，使用一个FC层处理输入向量I_t，得到一个固定长度的向量r_t，其长度与BiLSTM输出向量h_t相同；通过将向量r^t和BiLSTM输出向量h^t执行add操作构建shortcut connection，再用ReLU进行激活获得更新后的输出向量如下式：

式中，W_r代表该全连接层的权重矩阵；

6.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述引入一种意图注意力机制，结合意图特征向目标车辆及其周围邻居车辆的隐藏状态分配不同历史时间步下的注意力权值，在时间维度上有效提取车辆的轨迹特征，根据驾驶意图动态调整，具体步骤如下：

步骤2.3.1：将目标车辆的意图向量和解码器上一时刻的隐藏状态向量p_t-1用拼接操作拼接起来，然后由完全连接层θ_l处理获得的向量来做为键值对注意力机制中的“查询”Q_l，将编码器编码的车辆隐藏状态H_i由全连接层φ_l和ρ_l处理，形成“键”K_l和“值”V_l；公式如下：

式中，和/>代表在每个注意头l中要学习的权值矩阵，Concat代表拼接操作；

式中，α_lj代表注意力权重，这里采用点积注意(Dot-product Attention)[22]的方法计算获得：d代表缩放因子，等于投影空间的维数；

步骤2.3.3：采用多头注意力机制以将注意力扩展到高阶交互；使用不同的学习线性投影Q_l、K_l和V_l计算了n_h个注意力特征head_l，l＝1,2,...,n_h；然后，将这些注意力特征head_l拼接在一起，并使用完全连接层进行处理：

7.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述基于意图注意机制计算获得的车辆特征编码向量，利用交互关系捕捉模块捕获邻居车辆的重要性，具体步骤如下：

步骤2.4.1：由完全连接层θ_s处理的目标车辆的历史轨迹特征向量来作为“查询”，邻居车辆的特征向量/>由全连接层φ_s和ρ_s处理形成“键”和“值”，长方体Z_t由六个小长方体组成，代表六个邻居车辆的特征向量，空白透明的长方体代表该位置不存在邻居车辆；与意图注意机制相同，“查询”Q_s、“键”K_s和“值”V_s采用缩放点积注意机制计算，使用多头注意来增强模型的表示能力，公式如下：

K_s＝φ_s(Z_t；W_φs)

V_s＝ρ_s(Z_t；W_ρs)

8.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤2)中，所述结合周车的位置信息、驾驶意图和交互关系对周车进行较长时域的轨迹预测，具体步骤如下：

e_t＝ψ(Y_t-1；W_ed)

式中，ψ代表具有LeakyReLU非线性激活函数的全连接层，W_es代表用于学习的嵌入层权重；

此时中间语义向量c_t包含选定的车辆交互信息c_t以及目标车辆的运动状态编码与嵌入向量e_t一起被输送到LSTM解码器：

U_t＝Concat(C_t,e_t)

式中，U_t代表在进行第t时间步预测时LSTM解码器的输入向量，Concat代表拼接操作；

LSTM解码器预测生成目标车辆未来时间步长t＝t_p+1,t_p+2,...,t_p+t_f的轨迹点位置；解码器中还添加与意图识别模块中相同的快捷连接；公式如下：

p_t＝LSTM(p_t-1,U_t；W_dec)

式中，p_t代表解码器LSTM的隐藏状态向量，代表引入快捷连接得到的新状态向量，W_dec、W_d和W_p为权重矩阵。

9.如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤3)中，所述根据联合预测的结果为主车的后续操纵提供丰富的信息依据，具体步骤为：经过驾驶意图和轨迹的联合预测，获得周车当前的驾驶意图和其后续一段时间的轨迹位置；根据识别的驾驶意图可以大致判断其短时间内的行为，为主车操纵预留反应时间，降低车辆碰撞的风险，保证驾驶的安全性；主车根据预测获得的周车后续一段时间内的轨迹位置，提前做好路径规划，获得到达目的地的最优操纵选择，既保证驾驶的舒适性，又减少无用的能耗。