CN115547040A - 安全势场下基于informer神经网络的驾驶行为预测方法 - Google Patents

安全势场下基于informer神经网络的驾驶行为预测方法 Download PDF

Info

Publication number
CN115547040A
CN115547040A CN202211137976.4A CN202211137976A CN115547040A CN 115547040 A CN115547040 A CN 115547040A CN 202211137976 A CN202211137976 A CN 202211137976A CN 115547040 A CN115547040 A CN 115547040A
Authority
CN
China
Prior art keywords
track
potential field
neural network
target vehicle
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211137976.4A
Other languages
English (en)
Inventor
周毅
王章云
王虎肖
宁念文
石华光
张延宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202211137976.4A priority Critical patent/CN115547040A/zh
Publication of CN115547040A publication Critical patent/CN115547040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种安全势场下基于informer神经网络的驾驶行为预测方法，包括对运动数据集中的数据进行预处理得到轨迹序列特征；将轨迹序列特征编码为潜在时空表示；将潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；分别建立跟驰情况下和换道情况下的安全势场模型，计算安全势场范围；构建安全势场范围约束、预测的驾驶意图和驾驶轨迹的联合损失函数，利用Adam优化器优化得到预测模型；使用测试集对预测模型进行预测。本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测，在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。

Description

安全势场下基于informer神经网络的驾驶行为预测方法
技术领域
本发明涉及自动驾驶汽车的驾驶行为预测的技术领域，尤其涉及一种安全势场下基于informer神经网络的驾驶行为预测方法。
背景技术
汽车智能化正在迅猛发展，如今L2级别的自动驾驶技术虽然能够自动控制转向以及加速或减速，但是在有人驾驶和无人驾驶混合的复杂交通环境中，L2级别的自动驾驶技术因为不具备对环境的理解能力，在执行换道过程中过于保守，导致其速度忽快忽慢，使得交通流效率低下，不能像人类驾驶员一样流畅安全的行驶或换道。而自然驾驶人能够根据驾驶经验正确估计车辆是否满足换道条件以及在换道过程中面临的驾驶风险，保证车辆执行快速安全的换道决策。L3级别以上的自动驾驶技术，要求自动驾驶车辆能够准确地感知和预测周围道路参与者的行为，以便计划安全舒适的主动行动，避免因为紧急的反应性决定造成与他人的冲突，将可能的风险降到最低。
近年来用于驾驶行为预测的方法主要分为两大类：传统动力学模型方法和深度学习的方法。传统的动力学模型是完全基于观察到的历史轨迹进行预测。一些工作使用Logistic回归、支持向量机或隐马尔可夫模型考虑驾驶员的机动意图，另一些工作使用卡尔曼滤波器解释轨迹预测中的不确定性。这类方法往往在预测精度方面具有一定的局限性。深度学习方法如递归神经网络(RNN)及其变体长短时记忆网络(LSTM)和图神经网络(GNN)被用于驾驶行为预测，但是这些模型作为一种循序渐进的推理范式，往往会受到动态解码累积误差的影响，预测精度随着预测轨迹长度的增加而降低，并且它们的记忆约束和梯度消失问题，也使得驾驶行为预测的性能受到影响。同时，这些模型欠缺可解释性方面的考虑，仅依靠数据的特征来把握车辆的驾驶行为的规律进而进行预测，会带来一定的安全隐患。解决当前领域下传统动力学模型方法和深度学习方法中存在的缺陷和不足，在保证合理性与安全性的前提下，提高驾驶行为的预测精度，对保证自动驾驶车辆安全行驶至关重要。
申请号为202210279062.5的中国发明专利，公开了一种基于双向长短时记忆网络的驾驶行为预测方法及***，解决了对驾驶员驾驶行为预测不够精准的技术问题，其技术方案要点是通过成熟的车载传感器，实现了短时窗下预测驾驶员未来纵横向驾驶行为的功能，预测精度高，实现了在轻量级车载处理器下对驾驶员未来纵横向驾驶行为的预测，经济成本低。能够广泛的服务于车辆辅助驾驶***，提升辅助驾驶***的安全性，增强辅助***对驾驶员的理解，有助于实现安全驾驶，具有实用性与商业化价值。同时，基于大数据的深度学习方法有很高的预测精度、鲁棒性和泛化能力，有助于先进驾驶辅助***的深度开发，广泛适用于不同车辆下的驾驶员行为预测。但是，这种方法采用固有的长短时记忆网络，会受到动态解码累积误差的影响，预测精度随着预测轨迹长度的增加而降低，预测时间随着预测轨迹长度的增加而增加，不能满足长期驾驶行为预测的准确性和实时性；且这种方法仅依赖大数据的模糊推理，没有明确的安全约束，不能满足驾驶行为预测的安全性和可解释性。
发明内容
针对现有驾驶行为预测方法预测精度低，不能满足需要的技术问题，本发明提出一种安全势场下基于informer神经网络的驾驶行为预测方法，将安全势场模型和informer模型有机地结合在一起，提高驾驶行为预测的准确性和安全性，适用于自动驾驶车辆行驶过程中对周围车辆的未来意图和多通道轨迹的预测。
为了达到上述目的，本发明的技术方案是这样实现的：一种安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，其步骤如下：
S1：对运动数据集中的数据进行预处理，得到轨迹序列特征；
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示；
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围；
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型；
S6：保存训练完成的预测模型，使用测试集对预测模型进行预测，得到车辆未来的轨迹坐标。
优选地，所述步骤S1的预处理的方法为：
S1.1：剔除运动数据集中的异常数据；
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征，选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征；
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S；
S1.4：计算多通道序列S每个通道的均值和方差；
S1.5：对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
Figure BDA0003852167570000031
S1.6：将运动数据集随机划分为训练集和测试集。
优选地，所述Z-Score标准化的方法为：
Figure BDA0003852167570000032
其中，均值
Figure BDA0003852167570000033
方差
Figure BDA0003852167570000034
轨迹特征集合S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，且序列Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
优选地，所述步骤S1.1中的异常数据包括数据文件中的缺失值和信息记录错误的值；通过设定python程序扫描运动数据集的所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值；通过逻辑规则检查信息记录错误的值，并使用不同属性间的约束来剔除信息记录错误的值；所述步骤S1.4中序列Sk中的9个特征并行计算；所述步骤S1.6中按照7:3的比例划分训练集和测试集。
优选地，所述步骤S2中编码的实现方法为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，得到时间编码表示；使用神经网络全连接层将轨迹序列特征
Figure BDA0003852167570000035
表示为联系上下文数据的时空向量，得到特征编码表示；对每一时刻输入的轨迹序列特征的相对位置信息进行位置编码得到位置编码表示；
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
优选地，所述步骤S3中预测目标车辆未来的驾驶意图和驾驶轨迹的方法为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过编码器的多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E；
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M；
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer神经网络的输出D；
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的驾驶轨迹。
优选地，所述神经网络全连接层的计算过程为：
Figure BDA0003852167570000041
Figure BDA0003852167570000042
其中，i指样本的指标个数，j指中间层神经元的个数；wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数；
所述位置编码表示为：
PE(pos,2i)＝sin(pos/100002i/dmodel)
PE(pos,2i+1)＝cos(pos/100002i/dmodel)
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512；
所述S3.1的编码器的计算方法为：
Figure BDA0003852167570000043
Figure BDA0003852167570000044
Figure BDA0003852167570000045
其中，
Figure BDA0003852167570000046
分别代表由轨迹序列特征
Figure BDA0003852167570000047
生成的向量表示，Wi和Wo代表不同的权重矩阵；dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。
优选地，所述跟驰情况下的安全势场模型为：
Figure BDA0003852167570000048
其中，vx表示目标车辆的实时速度，ξ、λ为可调节的超参数，avpt表示衡量车辆是否处于加速行驶状态的阈值，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标，σx,1和σy分别代表二维高斯分布的方差；σx,2为在x轴方向的加速度前倾影响的衰减过程的瑞利分布
Figure BDA0003852167570000051
的方差；vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量；ax表示目标车辆x轴的加速度；
所述换道情况下的安全势场模型为：
Figure BDA0003852167570000052
Figure BDA0003852167570000053
其中，
Figure BDA0003852167570000054
表示车辆的转向角；(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值；ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移；
将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
优选地，所述步骤S5的实现方法为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
Figure BDA0003852167570000055
其中，
Figure BDA0003852167570000056
是预测的意图的概率分布，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转；
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
Figure BDA0003852167570000057
其中，
Figure BDA0003852167570000058
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数；
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
Figure BDA0003852167570000061
其中，
Figure BDA0003852167570000062
代表预测的未来状态下安全势场的范围，而Ev∈{Evs,Evc}代表真实的安全势场范围；
S5.4：最终的联合损失函数为：
Figure BDA0003852167570000063
其中，ω1、ω2和ω3为超参数；
S5.5：调节步骤S5.4中的所有超参数ω1、ω2和ω3到合适的范围，使用Adam优化和训练集优化包含安全势场的informer模型的反向传播的进程，直到联合损失函数
Figure BDA0003852167570000064
不再下降时终止训练。
优选地，采用网格搜索法与启发式算法相结合的方法调节超参数ω1、ω2和ω3，即在合理的数据范围内，根据历史调节经验依次调节超参数，使预测精度到达要求的范围内。
本发明的有益效果：本发明引入基于transformer的深度学习informer网络作为驾驶行为预测的主干模型，与长短期记忆模型及其变体相比，该模型能通过概率稀疏注意力机制精确地捕捉轨迹序列长期依赖关系，提高长期轨迹预测的精度，并降低模型复杂度，从而提高驾驶行为预测的实时性。同时本发明根据车辆的实时状态建立了车辆的安全势场模型，在预测轨迹的同时，通过求解车辆动力势场保证轨迹的合理性与安全性，给换道预测和轨迹预测增加了可解释性。具体地：
1.为了应对轨迹长期预测精度低的问题，本发明在自动驾驶行为预测领域引入了基于transformer改进的informer模型，该模型能够有效地捕捉轨迹序列的长期依赖耦合关系，并通过概率稀疏注意力机制提高轨迹长期预测的精度。同时，informer网络通过稀疏概率注意力机制代替了传统的注意力机制，使复杂度大大降低，提高了模型预测的实时性，这对于自动驾驶汽车的安全行驶至关重要。
2.本发明通过引入安全势场模型，提高了轨迹预测的安全性和可解释性。本发明根据车辆的实时状态，通过对跟驰情况和换道情况下的安全势场建模的方式，将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内，避免车辆因为不合理的预测导致碰撞、超速等危险行为的出现。本发明将安全势场模型放在损失函数中，通过梯度下降的方式使车辆学习到车辆状态的安全范围，进而提高驾驶行为预测的安全性和精度。
3.本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测，在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明的informer网络的模型应用图。
图3为本发明的跟驰模型和换道模型的等势面投影示意图，其中，(a)为匀速直线运动时的跟驰模型，(b)为加速直线运动时的跟驰模型，(c)为匀速运动时的换道模型，(d)为加速运动时的换道模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种安全势场下基于informer神经网络的驾驶行为预测方法，首先根据车辆的实时状态建立安全势场模型，通过梯度下降的方式学习安全势场模型的约束范围，进而将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内。然后采用informer模型实现车辆意图和多通道轨迹的精准预测，提高驾驶行为预测的精度、安全性和可解释性，具体包括以下步骤：
步骤S1：对HighD数据集和NGSIM数据集的运动数据集中的数据进行预处理，得到轨迹序列特征。
所述步骤S1具体为：
S1.1：剔除HighD数据集和NGSIM数据集中的异常数据。
异常数据包括两种，分别是数据文件中的缺失值和信息记录错误的值(比如因为摄像头分辨率低所造成车道ID识别错误)。缺失值会导致计算错误，造成模型梯度更新失败。本发明通过设定python程序扫描所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值。信息记录错误的值会导致预测结果不合理(比如在不能换道的情况下产生错误的换道预测结果)，本发明通过逻辑规则(常识性规则、数据特定规则等)检查数据值，并使用不同属性间的约束来剔除这些异常值。剔除异常数据后，会使模型训练的更稳定，预测逻辑更加准确，从而避免产生不合理的预测结果。
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征。这些特征包含了车辆状态的丰富信息，可以准确描述目标车辆在驾驶过程中的真实状况，有利于对未来轨迹的准确预测。选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征，相对位移是车辆安全行驶的基本考量，有利于目标车辆通过相对位移来学习合适的换道时机。
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，本发明将序列Sk表示为：Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
S1.4：计算多通道序列S每个通道的均值和方差(序列Sk中的9个特征并行计算)。
Figure BDA0003852167570000081
Figure BDA0003852167570000082
S1.5：考虑到在行驶方向上位移是线性增加的，而在垂直方向上不同车道的数据大小也是不同的。为了准确的描述不同路段的车辆状态(换道或直行)，同时避免个别极端轨迹对模型预测性能的影响，对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
Figure BDA0003852167570000083
为：
Figure BDA0003852167570000084
S1.6：按照7:3的比例将数据集随机划分为训练集和测试集，训练集用来训练模型参数，测试集来测试模型的正确率和误差，以验证模型的有效性。
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示，训练集和测试集处理方式相同。
所述步骤S2具体为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，使用神经网络全连接层将轨迹序列特征
Figure BDA0003852167570000091
表示为联系上下文数据的时空向量，下式为全连接层的计算过程：
Figure BDA0003852167570000092
Figure BDA0003852167570000093
其中，i指样本的指标个数，j指中间层神经元的个数。wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数。
针对每一时刻输入特征的相对位置信息使用如下公式进行位置编码表示：。
PE(pos,2i)＝sin(pos/100002i/dmodel)
PE(pos,2i+1)＝cos(pos/100002i/dmodel)
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512。因此位置编码的每个维度对应于一个正弦波。
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
矩阵相加就是两个矩阵中的每个点对应相加，这是并行操作，能够较快的计算出结果。
图2概括了本发明利用informer网络在驾驶行为预测应用方面的流程图，本发明考虑到实时性和计算复杂度，仅仅设计了6个编码器和1个解码器，其中编码器和解码器共享相同的输入轨迹特征。
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和轨迹。
所述步骤S3具体为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过如下式所示的编码器多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E。
Figure BDA0003852167570000094
Figure BDA0003852167570000095
Figure BDA0003852167570000096
其中，
Figure BDA0003852167570000101
分别代表由轨迹序列特征
Figure BDA0003852167570000102
生成的向量表示，Wi和Wo代表不同的权重矩阵。其中dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。编码器多头概率稀疏注意力层可以提取轨迹的局部特征和全局特征，能够更好的进行驾驶行为预测。
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M。因为informer神经网络的解码器的输入和输出是对齐的，因此掩码多头注意力层的作用是将需要预测的数据的位置上预先填充0，以便一次生成一定长度的预测数据。
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer模型输出D。
交互多头概率稀疏注意力层就是把上面那个多头概率稀疏注意力层的向量Q和K换成编码器输出的Q和K，以及解码器中的V进行多头注意力计算。这样能够融合编码器和解码器的信息，进行更准确的轨迹预测。
图2中的一维卷积池化模块、线性层处理的是上个网络的输出，它们作用就是进一步进行轨迹信息表示，为最终的驾驶行为做准备。
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的轨迹。
意图包括直行意图、左换道意图和右换道意图。轨迹代表目标车辆在未来一段时间内的行驶坐标(一般是5s内)。在本发明中，驾驶意图和驾驶轨迹预测合并称为驾驶行为预测，驾驶行为预测为自动驾驶车辆的安全行车提供了保障，它通过预测目标车辆的意图和轨迹，合理的规划自己的行驶轨迹。
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围。
所述步骤S4具体为：
S4.1：跟驰情况下避撞安全距离
Figure BDA0003852167570000103
定义为
Figure BDA0003852167570000104
其中，vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量，一般取6m/s2。
S4.2：当车辆匀速直行运动时，采用二维高斯分布来描述安全势场模型。因为物体同时参与多个分运动时，各个分运动之间是相互独立的，因此沿水平方向和垂直方向的两个分运动是相互独立的，根据二维高斯分布的数学特性，并参考伪距离相关概念，将势场范围进行修正，最终得到如下匀速直行下的跟驰模型公式：
Figure BDA0003852167570000111
其中，ξ和λ是安全势场模型调节的超参数，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标。Ev代表匀速直行下的跟驰模型势场，σx,1和σy代表二维高斯分布的方差。
图3(a)为匀速直行下的跟驰模型的等势投影示例，其中，坐标(0，0)为目标车辆质心点。由此可以看出，在匀速直行的场景下，目标车辆前方和后方、左方与右方的安全势场是对称的，即汽车受威胁的可能性也是对称的。
S4.3：当目标车辆做加速运动时，此时对于目标车辆前方车辆的影响程度要远大于后方车辆，为了体现这种差别，在x轴方向采用瑞利分布来描述加速度前倾影响的衰减过程：
Figure BDA0003852167570000112
同时由于横向速度与纵向速度的独立，因此确立加速运动下的跟驰模型公式为：
Figure BDA0003852167570000113
其中，σx,2为瑞利分布的方差，ξ、λ为待定参数。
图3(b)为加速直线运动下的跟驰模型的等势投影示例，其中，坐标(0，0)为目标车辆质心点。由此可以看出，加速直线运动下的跟驰模型的势场呈前倾趋势，即对于目标车辆后方车辆的影响程度要远小于前方。
S4.4：将步骤S4.1的避撞安全距离
Figure BDA0003852167570000114
分别带入步骤S4.2和步骤S4.3中的安全势场模型式子中，最终安全势场的跟驰模型构建如下：
Figure BDA0003852167570000115
其中，ξ、λ、avpt为待定参数，avpt表示衡量车辆是否处于加速行驶状态的阈值。根据实际模型训练的好坏和车辆实际情况进行对比分析，得到这些参数的值。在具体应用时，ξ、λ在(0，1)内取值，而avpt在(0，0.8)内取值。可以看到，周围车辆对于自动驾驶车辆的影响程度与自动驾驶车辆的自身状态和周围车辆与自动驾驶车辆的距离有关系：跟驰模型下的势场随着制动加速度amax的增大而减小，随着实时速度vx的增大而增大，在存在ax的情况下，随着ax的增大而扩张，随着与周围车辆x方向和y方向的位移差的增大而减小。
S4.5：换道安全距离模型表示如下：
Figure BDA0003852167570000121
其中，
Figure BDA0003852167570000122
为车辆避撞纵向安全距离，ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移。
S4.6：考虑到换道过程中的车辆偏转，本发明加入旋转分量，(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值，最终换道模型下的安全势场公式建立如下：
Figure BDA0003852167570000123
Figure BDA0003852167570000124
其中，
Figure BDA0003852167570000125
表示车辆的转向角。
图3(c)为车辆匀速运动下的换道模型的等势投影示例，图3(d)为车辆加速运动下的换道模型的等势投影示例，其中坐标(0，0)为目标车辆质心点。
S4.7：将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型。
所述步骤S5具体为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
Figure BDA0003852167570000126
其中，
Figure BDA0003852167570000127
是预测的意图的概率分布，是0-1之间的概率值，比如左换道30％概率，右换道40％概率，直行30％概率，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转。
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
Figure BDA0003852167570000131
其中，
Figure BDA0003852167570000132
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数。
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
Figure BDA0003852167570000133
其中，
Figure BDA0003852167570000134
代表预测的未来状态下安全势场的范围，而Ev代表真实的安全势场范围，Ev∈{Evs,Evc}，根据机动状况选取Ev。
S5.4：预测的驾驶意图和轨迹是模型学习的动机，而安全势场是辅助轨迹预测的工具，因此本发明通过加入ω1、ω2和ω3超参数来保证驾驶的换道意图与轨迹预测任务在梯度反向传播中的主导地位，最终的联合损失函数定义为：
Figure BDA0003852167570000135
S5.5：调节步骤S5.4中的所有超参数到合适的范围，使用Adam优化器优化模型反向传播的进程，直到联合损失函数不再下降时终止训练。
采用网格搜索法与启发式算法相结合的方法调节参数，即在合理的数据范围内，根据历史调节经验依次调节参数，使模型预测精度到达要求的范围内。
S6：保存训练完成的预测模型，使用测试集对预测模型进行测试和预测，得到车辆未来的轨迹坐标。
本发明通过引入安全势场模型，提高了轨迹预测的安全性和可解释性。本发明根据车辆的实时状态，通过对跟驰情况和换道情况下的安全势场建模的方式，将车辆的状态(位移、速度和加速度等)限制在了一个安全的范围内，避免车辆因为不合理的预测导致碰撞、超速等危险行为的出现。本发明将安全势场模型放在损失函数中，通过梯度下降的方式使车辆学习到车辆状态的安全范围，进而提高驾驶行为预测的安全性和精度。为了应对轨迹长期预测精度低的问题，本发明在自动驾驶行为预测领域引入了基于transformer改进的informer模型，该模型能够有效地捕捉轨迹序列的长期依赖耦合关系，并通过概率稀疏注意力机制提高轨迹长期预测的精度。同时，informer通过稀疏概率注意力机制代替了传统的注意力机制，使复杂度大大降低，提高了模型预测的实时性，这对于自动驾驶汽车的安全行驶至关重要。本发明将安全势场模型和informer模型有机地结合在了一起，能够实现周围车辆的意图预测和多通道轨迹预测。其在驾驶行为预测的实时性、准确性和安全性方面具有卓越的性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，其步骤如下：
S1：对运动数据集中的数据进行预处理，得到轨迹序列特征；
S2：将步骤S1得到的轨迹序列特征编码为潜在时空表示；
S3：将步骤S2得到的潜在时空表示输入到informer神经网络中，预测目标车辆未来的驾驶意图和驾驶轨迹；
S4：考虑车辆运动的安全性和可行性，分别建立跟驰情况下和换道情况下的安全势场模型，并计算安全势场范围；
S5：构建步骤S4中安全势场范围约束、步骤S3中预测的驾驶意图和车辆轨迹的联合损失函数并通过梯度下降法求解损失函数，利用Adam优化器优化包含安全势场的informer模型得到预测模型；
S6：保存训练完成的预测模型，使用测试集对预测模型进行预测，得到车辆未来的轨迹坐标。
2.根据权利要求1所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S1的预处理的方法为：
S1.1：剔除运动数据集中的异常数据；
S1.2：选取运动数据集中目标车辆的横向和纵向的坐标、速度、加速度和车道号作为目标车辆的特征，选取目标车辆周围的车辆的横向和纵向相对位移作为周围车辆的特征；
S1.3：提取目标车辆在k～k+n时间内的轨迹特征集合为S；
S1.4：计算多通道序列S每个通道的均值和方差；
S1.5：对轨迹特征集合S的各个通道分别进行Z-Score标准化，得到最终的轨迹序列特征
Figure FDA0003852167560000011
S1.6：将运动数据集随机划分为训练集和测试集。
3.根据权利要求2所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述Z-Score标准化的方法为：
Figure FDA0003852167560000012
其中，均值
Figure FDA0003852167560000013
方差
Figure FDA0003852167560000014
轨迹特征集合S＝(Sk,Sk+1,Sk+2,...,Sk+n-1)，其中，Sk为k时刻目标车辆及其周围车辆的轨迹特征序列，且序列Sk＝{x,y,vx,vy,ax,ay,id,Δx,Δy}，其中，x和y分别代表k时刻目标车辆的横坐标和纵坐标，vx,vy分别代表k时刻目标车辆的横向和纵向的速度，ax,ay分别代表k时刻目标车辆的横向和纵向的加速度，id代表目标车辆所在车道，Δx,Δy代表周围车辆相对于目标车辆的横向和纵向的相对位移。
4.根据权利要求2或3所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S1.1中的异常数据包括数据文件中的缺失值和信息记录错误的值；通过设定python程序扫描运动数据集的所有数据，将缺失值筛选出来，然后用原始数据源的平均值、最大值、最小值或概率估计代替缺失值；通过逻辑规则检查信息记录错误的值，并使用不同属性间的约束来剔除信息记录错误的值；所述步骤S1.4中序列Sk中的9个特征并行计算；所述步骤S1.6中按照7:3的比例划分训练集和测试集。
5.根据权利要求4所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S2中编码的实现方法为：
S2.1：使用神经网络一维卷积层将轨迹特征集合S的时间帧编码为表示时间属性潜在向量，得到时间编码表示；使用神经网络全连接层将轨迹序列特征
Figure FDA0003852167560000021
表示为联系上下文数据的时空向量，得到特征编码表示；对每一时刻输入的轨迹序列特征的相对位置信息进行位置编码得到位置编码表示；
S2.2：将时间编码表示、特征编码表示和位置编码表示进行矩阵相加操作，即为潜在时空表示。
6.根据权利要求5所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S3中预测目标车辆未来的驾驶意图和驾驶轨迹的方法为：
S3.1：将步骤S2生成的潜在时空表示输入到informer神经网络的编码器中，通过编码器的多头概率稀疏注意力层和全连接层得到进一步的轨迹特征表示E；
S3.2：将步骤S2生成的潜在时空表示输入到informer神经网络的解码器中，通过解码器的掩码多头注意力层得到轨迹特征表示M；
S3.3：将步骤S3.1的轨迹特征表示E和步骤S3.2的轨迹特征表示M通过交互多头概率稀疏注意力层和全连接层后得到最终的informer神经网络的输出D；
S3.4：输出D通过意图预测头输出预测的驾驶意图，输出D通过轨迹预测头输出预测的驾驶轨迹。
7.根据权利要求6所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述神经网络全连接层的计算过程为：
Figure FDA0003852167560000031
Figure FDA0003852167560000032
其中，i指样本的指标个数，j指中间层神经元的个数；wij代表可训练权值，bj代表可训练偏移值，θj代表全连接层的输出，f(x)代表激活函数；
所述位置编码表示为：
Figure FDA0003852167560000033
Figure FDA0003852167560000034
其中，pos表示当前时刻，i代表编码的维度，dmodel指定为512；
所述S3.1的编码器的计算方法为：
Figure FDA0003852167560000035
Figure FDA0003852167560000036
Figure FDA0003852167560000037
其中，
Figure FDA0003852167560000038
K,V分别代表由轨迹序列特征
Figure FDA0003852167560000039
生成的向量表示，Wi和Wo代表不同的权重矩阵；dk代表特征维度，softmax代表概率映射函数，Attention代表注意力矩阵计算函数，Concat代表合并操作，headi表示第i个注意力头，h代表注意力头的数量。
8.根据权利要求4-7中任意一项所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述跟驰情况下的安全势场模型为：
Figure FDA00038521675600000310
其中，vx表示目标车辆的实时速度，ξ、λ为可调节的超参数，avpt表示衡量车辆是否处于加速行驶状态的阈值，(x,y)为周围车辆的坐标，(x0,y0)为自动驾驶车辆的坐标，σx,1和σy分别代表二维高斯分布的方差；σx,2为在x轴方向的加速度前倾影响的衰减过程的瑞利分布
Figure FDA0003852167560000041
的方差；vx表示目标车辆的实时速度，amax表示汽车制动加速度的常量；ax表示目标车辆x轴的加速度；
所述换道情况下的安全势场模型为：
Figure FDA0003852167560000042
Figure FDA0003852167560000043
其中，
Figure FDA0003852167560000044
表示车辆的转向角；(x*,y*)是原始坐标(x,y)发生转向后对应偏转取值；ay为目标车辆的侧向加速度；sy为车辆换道所需的侧向位移；
将步骤S1得到的轨迹序列特征输入到目标车辆的安全势场模型中，计算目标车辆的安全势场范围。
9.根据权利要求8所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，所述步骤S5的实现方法为：
S5.1：使用交叉熵函数作为预测的意图的损失函数：
Figure FDA0003852167560000045
其中，
Figure FDA0003852167560000046
是预测的意图的概率分布，I∈{Is,Il,Ir}代表车辆的真实意图即直行、左转或右转；
S5.2：使用均方误差函数作为预测的轨迹的损失函数：
Figure FDA0003852167560000047
其中，
Figure FDA0003852167560000048
是预测的未来轨迹点，F是真实的未来轨迹点，Tpred代表预测的帧数；
S5.3：使用均方误差函数作为安全势场范围约束的损失函数：
Figure FDA0003852167560000049
其中，
Figure FDA00038521675600000410
代表预测的未来状态下安全势场的范围，而Ev∈{Evs,Evc}代表真实的安全势场范围；
S5.4：最终的联合损失函数为：
Figure FDA0003852167560000051
其中，ω1、ω2和ω3为超参数；
S5.5：调节步骤S5.4中的所有超参数ω1、ω2和ω3到合适的范围，使用Adam优化和训练集优化包含安全势场的informer模型的反向传播的进程，直到联合损失函数
Figure FDA0003852167560000052
不再下降时终止训练。
10.根据权利要求9所述的安全势场下基于informer神经网络的驾驶行为预测方法，其特征在于，采用网格搜索法与启发式算法相结合的方法调节超参数ω1、ω2和ω3，即在合理的数据范围内，根据历史调节经验依次调节超参数，使预测精度到达要求的范围内。
CN202211137976.4A 2022-09-19 2022-09-19 安全势场下基于informer神经网络的驾驶行为预测方法 Pending CN115547040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211137976.4A CN115547040A (zh) 2022-09-19 2022-09-19 安全势场下基于informer神经网络的驾驶行为预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211137976.4A CN115547040A (zh) 2022-09-19 2022-09-19 安全势场下基于informer神经网络的驾驶行为预测方法

Publications (1)

Publication Number Publication Date
CN115547040A true CN115547040A (zh) 2022-12-30

Family

ID=84728173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211137976.4A Pending CN115547040A (zh) 2022-09-19 2022-09-19 安全势场下基于informer神经网络的驾驶行为预测方法

Country Status (1)

Country Link
CN (1) CN115547040A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246492A (zh) * 2023-03-16 2023-06-09 东南大学 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246492A (zh) * 2023-03-16 2023-06-09 东南大学 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法
CN116246492B (zh) * 2023-03-16 2024-01-16 东南大学 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117475090B (zh) * 2023-12-27 2024-06-11 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Similar Documents

Publication Publication Date Title
Huang et al. Efficient deep reinforcement learning with imitative expert priors for autonomous driving
Xie et al. Motion trajectory prediction based on a CNN-LSTM sequential model
CN110610271B (zh) 一种基于长短记忆网络的多重车辆轨迹预测方法
CN112099496B (zh) 一种自动驾驶训练方法、装置、设备及介质
CN115547040A (zh) 安全势场下基于informer神经网络的驾驶行为预测方法
Kim et al. Multi-head attention based probabilistic vehicle trajectory prediction
Ivanovic et al. Mats: An interpretable trajectory forecasting representation for planning and control
Grigorescu et al. Neurotrajectory: A neuroevolutionary approach to local state trajectory learning for autonomous vehicles
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
Bahari et al. Injecting knowledge in data-driven vehicle trajectory predictors
Kamenev et al. Predictionnet: Real-time joint probabilistic traffic prediction for planning, control, and simulation
US11501449B2 (en) Method for the assessment of possible trajectories
Cho et al. Deep predictive autonomous driving using multi-agent joint trajectory prediction and traffic rules
Li et al. Coordination and trajectory prediction for vehicle interactions via bayesian generative modeling
CN114399743B (zh) 一种障碍物未来轨迹的生成方法
Ma et al. Intent prediction of vessels in intersection waterway based on learning vessel motion patterns with early observations
Lee et al. Spatiotemporal costmap inference for MPC via deep inverse reinforcement learning
Lange et al. Attention augmented convlstm for environment prediction
Kawasaki et al. Multimodal trajectory predictions for autonomous driving without a detailed prior map
CN117325865A (zh) 一种lstm轨迹预测的智能车辆换道决策方法及***
Agarwal et al. Imitative planning using conditional normalizing flow
John et al. Estimation of steering angle and collision avoidance for automated driving using deep mixture of experts
Geng et al. Dynamic-learning spatial-temporal Transformer network for vehicular trajectory prediction at urban intersections
Hegde et al. Vehicle trajectory prediction using gan
Huang et al. CARPAL: Confidence-aware intent recognition for parallel autonomy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination