CN114379595A - 基于车辆行为特征与环境交互信息的车辆轨迹预测方法 - Google Patents

基于车辆行为特征与环境交互信息的车辆轨迹预测方法 Download PDF

Info

Publication number
CN114379595A
CN114379595A CN202210161869.9A CN202210161869A CN114379595A CN 114379595 A CN114379595 A CN 114379595A CN 202210161869 A CN202210161869 A CN 202210161869A CN 114379595 A CN114379595 A CN 114379595A
Authority
CN
China
Prior art keywords
vehicle
scene
information
vehicles
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210161869.9A
Other languages
English (en)
Other versions
CN114379595B (zh
Inventor
杨雨欣
蒋华涛
常琳
杨昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongwei Wuchuang Intelligent Technology (Shanghai) Co.,Ltd.
Original Assignee
Wuxi Internet Of Things Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Internet Of Things Innovation Center Co ltd filed Critical Wuxi Internet Of Things Innovation Center Co ltd
Priority to CN202210161869.9A priority Critical patent/CN114379595B/zh
Publication of CN114379595A publication Critical patent/CN114379595A/zh
Application granted granted Critical
Publication of CN114379595B publication Critical patent/CN114379595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,涉及自动驾驶车辆技术领域,该方法将目标车辆及其周围的相邻车辆的历史轨迹序列输入车辆轨迹预测模型,输出得到场景内所有车辆的预测轨迹序列,车辆轨迹预测模型包括车辆信息动态编码模块、多信息融合模块和车辆轨迹预测模块,多信息融合模块用于对场景内所有车辆的动力学序列特征进行处理得到场景内车辆之间的环境交互信息、每辆车辆的行为特征以及目标车辆的自车信息编码结果后进行信息融合得到融合特征,该方法对车辆行为特征和环境交互信息这两项对于车辆轨迹有较大影响的因素进行多因素的融合考虑,从而可以提高预测得到的车辆轨迹的准确性与预测时间长度。

Description

基于车辆行为特征与环境交互信息的车辆轨迹预测方法
技术领域
本发明涉及自动驾驶车辆技术领域,尤其是一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法。
背景技术
目前自动驾驶车辆技术和智能交通***逐渐进入了大力发展阶段,这一项技术要求自动驾驶车辆有主动的行为决策能力,需要在复杂和动态交通环境中,依据所处交通环境完成行车、车道切换、加速超车、制动减速等驾驶行为。在车辆所处的交通环境中,周边车辆的动态驾驶行为是影响驾驶车辆行为决策的一个重要因素,预测出周边车辆未来的行驶轨迹,车辆就可以根据这些情况来合理规划自己的行驶路线,提前规避风险,降低事故发生的可能性,为人类带来更安全、更舒适的驾驶体验,因此在多车交互环境下,预测周边车辆的动态轨迹对发展高级驾驶辅助***、智能交通***和自动驾驶有重要作用。
现阶段的车辆轨迹的预测方法主要包括传统方法、机器学习方法、深度学习方法等,其中传统方法主要是通过车辆物理状态和运动学、动力学模型来预测,以及由部分研究人员提出的智能驾驶员模型等,但是对传统模型的建模往往需要大量的参数,并且模型的泛化性不强。机器学习方法主要包括贝叶斯网络和卡尔曼滤波器等等。由于车辆的运动轨迹可以看作时序预测问题,在语音识别、机器翻译等时序预测问题上表现很好的循环神经网络及其变体也被用来预测轨迹。深度学习方法的优势在于其可以使用大量的数据集来训练模型,增强模型的泛化能力,使之适用性更强。但是随着交通参与者数目的不断增加,路况信息日趋复杂,整个交通场景中,机动车、自行车、行人与道路环境等都会对自动驾驶车辆产生影响,现有的上述这些车辆轨迹的预测方法的准确率都仍然不够理想。
发明内容
本发明人针对上述问题及技术需求,提出了一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,本发明的技术方案如下:
一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,该方法包括:
获取目标车辆所在场景中的场景车辆的历史轨迹序列,每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息,场景车辆包括目标车辆及其周围的相邻车辆;
将所有场景车辆的历史轨迹序列输入车辆轨迹预测模型,输出得到所有场景车辆的预测轨迹序列,预测轨迹序列包括所有场景车辆未来的若干个预测位置信息;
其中,车辆轨迹预测模型包括车辆信息动态编码模块、多信息融合模块和车辆轨迹预测模块,车辆信息动态编码模块用于对所有场景车辆的历史轨迹序列进行动态编码得到每辆场景车辆的动力学序列特征;多信息融合模块用于对所有场景车辆的动力学序列特征进行处理得到场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及目标车辆的自车信息编码结果后进行信息融合得到融合特征,场景车辆之间的环境交互信息反映不同场景车辆之间的交互影响关系,每辆场景车辆的车辆行为特征反映场景车辆的车辆行驶行为;车辆轨迹预测模块用于对多信息融合模块输出的融合特征进行解码处理得到所有场景车辆的预测轨迹序列。
其进一步的技术方案为,多信息融合模块包括交互信息提取单元、行为特征识别单元、自车信息编码单元和融合单元;
交互信息提取单元基于卷积层构建,并用于对所有场景车辆的动力学序列特征进行信息提取得到场景车辆之间的环境交互信息;
行为特征识别单元基于LSTM循环结构构建,并用于对所有场景车辆的动力学序列特征进行信息提取得到每辆场景车辆的车辆行为特征;
自车信息编码单元用于对目标车辆的动力学序列特征进行信息编码得到自车信息编码结果;
融合单元用于对场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及目标车辆的自车信息编码结果后进行信息融合得到融合特征。
其进一步的技术方案为,目标车辆周围的相邻车辆包括目标车辆在预定距离范围内的同一车道内的前车和后车,以及目标车辆相邻车道的并排车辆,以及并排车辆同一车道内的前车和后车;
则交互信息提取单元和行为特征识别单元分别将所有场景车辆的动力学序列特征对齐到3x3网格中,并对3x3网格中的信息进行信息提取,自车信息编码单元包括第三全连接层。
其进一步的技术方案为,交互信息提取单元从输入到输出依次包括第一卷积层、第二卷积层和第一全连接层,第一卷积层通过2x2的卷积核对3x3网格中的信息进行卷积处理分别提取左上角子区域、右上角子区域、左下角子区域和右下角子区域的交互信息,每个子区域内包括3x3网格中相应方位子区域处的四辆场景车辆;第二卷积层通过2x2的卷积核对第一卷积层提取的交互信息进行卷积处理,并经过第一全连接层提取得到所有场景车辆之间的环境交互信息。
其进一步的技术方案为,行为特征识别单元从输入到输出依次包括第一LSTM循环结构、第二LSTM循环结构和第二全连接层,3x3网格中的信息依次经过第一LSTM循环结构、第二LSTM循环结构和第二全连接层后,利用softmax函数进行处理输出每辆场景车辆的车辆行为特征。
其进一步的技术方案为,每辆场景车辆的车辆行为特征为直线行驶、左转弯、右转弯、左变道和右变道中的任意一种,每辆场景车辆的车辆行为特征通过场景车辆的航向角的变化量ω=(θii-1)/Δt进行标识,θi-1为第i-1采样时间点的航向角,θi为第i采样时间点的航向角,Δt是两个采样时间点之间的时间间隔,第i采样时间点为第i-1采样时间点的后一个采样时间点,且有θi=arctan((xi-xi-1)/(yi-yi-1)),(xi,yi)为第i采样时间点的位置信息,(xi-1,yi-1)为第i-1采样时间点的位置信息。
其进一步的技术方案为,车辆轨迹预测模块包括第一预测单元、第二预测单元和第六全连接层,第一预测单元基于LSTM循环结构构建且用于对融合特征进行解码处理得到第一预测结果,第二预测单元基于BILSTM循环结构构建且用于对融合特征进行解码处理得到第二预测结果,第六全连接层对第一预测结果和第二预测结果相加并输出所有场景车辆的预测轨迹序列。
其进一步的技术方案为,第一预测单元从输入到输出依次包括第四全连接层、第三LSTM循环结构和第四LSTM循环结构。
其进一步的技术方案为,第二预测单元从输入到输出依次包括第五全连接层、第一BILSTM循环结构和第二BILSTM循环结构。
其进一步的技术方案为,车辆信息动态编码模块包括若干个LSTM编码器,每个LSTM编码器分别对一辆场景车辆的历史轨迹序列的高维度特征进行动态编码,得到对应的场景车辆的动力学序列特征,所有场景车辆共享相同的LSTM编码器。
本发明的有益技术效果是:
本申请公开了一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,该方法利用车辆轨迹预测模型中的多信息融合模块结合车辆行为特征和环境交互信息进行轨迹预测,利用卷积神经网络CNN提取环境交互信息,弥补了使用传统循环神经网络(RNN、LSTM等)不能获取车辆与车辆之间的交互信息的缺陷,使用LSTM通过获取分类判断的车辆行为特征,为轨迹预测模块提供更丰富的信息,对车辆行为特征和环境交互信息这两项对于车辆轨迹有较大影响的因素进行多因素的融合考虑,从而可以提高预测得到的车辆轨迹的准确性与预测时间长度。
另外,在车辆轨迹预测模型的车辆轨迹预测模块中使用结合LSTM和BILSTM的网络结构,对未来轨迹进行预测,不仅能够利用历史信息,还能通过双向LSTM来利用后面的信息,从而进一步提供更准确的预测结果。
附图说明
图1是目标车辆所在场景中的场景车辆的示意图。
图2是本申请的车辆轨迹预测模型的模型结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,该方法包括如下步骤:
步骤100,获取目标车辆所在场景中的场景车辆的历史轨迹序列。
每一辆场景车辆的历史轨迹序列包括该场景车辆在当前时刻之前的历史最近预定时长T1内的各个采样时间点的位置信息。一般采样时按照等时间间隔采样,也即每相邻两个采样时间点之间的时间间隔Δt均相等。为了更好的提取车辆行为特征与环境交互信息,历史最近预定时长T1的时长不小于预定时长,比如T1不小于3秒。如图1所示,每辆场景车辆在每个采样时间点的位置信息是该场景车辆在目标车辆坐标系内的位置坐标,目标车辆坐标系以目标车辆的几何中心为坐标原点、以目标车辆沿着所在车道的前进方向为y轴正方向、以垂直于y轴正方向指向右侧的方向为x轴正方向。场景内的每辆场景车辆可以获取到自己的绝对位置,而场景车辆间会通过V2X通信技术进行交互通信,从而目标车辆可以确定周围的相邻车辆以及每辆相邻车辆在目标车辆坐标系内的位置坐标。
场景车辆包括目标车辆及其周围的相邻车辆,目标车辆指的就是利用该方法实现车辆轨迹预测的自动驾驶车辆,而相邻车辆即为其周围的其他车辆。包括目标车辆在预定距离范围内的同一车道和相邻车道的车辆,该预定距离范围可以自己定义。在典型应用场景中,如图1所示,目标车辆5周围的相邻车辆包括目标车辆的预定距离范围内的同一车道内的前车2和后车8,以及目标车辆5相邻车道并与目标车辆5的距离不超过预定距离的并排车辆4和6,以及并排车辆同一车道内的前车和后车,图1中包括并排车辆4同一车道的前车1和后车7,以及并排车辆6同一车道的前车3和后车9。不同相邻车辆与目标车辆5之间的预定距离范围可以相同也可以不同,以不同为例,比如,目标车辆5包含同一车道距离10米内的前车2和后车8,相邻两个车道内与目标车辆5的y坐标相差不超过5米的并排车辆4和6,并排车辆4同一车道距离10米内的前车1和后车7,并排车辆6同一车道距离10米内的前车3和后车9。在实际场景下,目标车辆可以包含上述全部8辆相邻车辆,或者仅包括其中部分,比如目标车辆只有一个相邻车道,或者目标车辆同一车道内没有前后车。
本申请后续以图1所示的场景为例进行说明,从而9辆场景车辆按照分布位置形成3x3的网格结构,获得的所有场景车辆的历史轨迹序列以集合的形式表示为{H1,…Ht,…HT},其中任意参数t下的Ht包括第t个采样时间点时各个场景车辆的位置信息,T是历史最近预定时长T1内包含的采样时间点的个数。任意的Ht包括
Figure BDA0003514305530000051
其中任意的
Figure BDA0003514305530000052
表示第n辆场景车辆在第t个采样时间点的位置信息,N表示包含的场景车辆的总数,在图1的典型示例下即为9。基于此,可以确定任意第n辆场景车辆的历史轨迹序列包括T个位置信息,且可以记为
Figure BDA0003514305530000053
步骤200,将所有场景车辆的历史轨迹序列输入车辆轨迹预测模型,输出得到所有场景车辆的预测轨迹序列。预测轨迹序列包括所有场景车辆未来的若干个预测位置信息,预测轨迹序列与历史轨迹序列的定义类似,每一辆场景车辆的预测轨迹序列包括该场景车辆在未来最近预定时长T2内的各个采样时间点的位置信息,该未来最近预定时长T2的时长与历史最近预定时长T1可以相同也可以不同。预测位置信息也即场景车辆在目标车辆坐标系内的位置坐标。
其中,车辆轨迹预测模型是预先建立并训练得到的,请参考图2所示的模型结构图,该车辆轨迹预测模型包括依次连接的车辆信息动态编码模块、多信息融合模块和车辆轨迹预测模块:
(1)车辆信息动态编码模块。
车辆信息动态编码模块用于对所有场景车辆的历史轨迹序列{H1,…Ht,…HT}进行动态编码得到每辆场景车辆的动力学序列特征,所有场景车辆的动力学序列特征以集合方式表示为E={E1…En,…EN},其中En表示第n辆场景车辆的动力学序列特征。
车辆信息动态编码模块包括若干个LSTM(Long Short Term Memory Network,长短时记忆网络)编码器,且包含的LSTM编码器的数量与场景车辆的总数N相等。每个LSTM编码器分别对一辆场景车辆的历史轨迹序列的高维度特征进行动态编码,得到对应的场景车辆的动力学序列特征。所有场景车辆共享相同的LSTM编码器。
一个LSTM编码器对任意第n辆场景车辆的历史轨迹序列
Figure BDA0003514305530000061
进行动态编码的编码过程写为En=LSTMenc(Emb(hn)),其中Emb(hn)表示利用Embbeding函数将位置信息嵌入到更高维度得到的高维度特征,LSTMenc()是共享的LSTM编码器。如图2以包含9个LSTM编码器为例,LSTM编码器1~9分别用于对场景车辆1~9的历史轨迹序列h1~h9进行动态编码,且其中h5为目标车辆的历史轨迹序列。
(2)多信息融合模块。
多信息融合模块用于对所有场景车辆的动力学序列特征E={E1…En,…EN}进行处理得到场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及目标车辆的自车信息编码结果后,对三者进行信息融合得到融合特征C。其中,场景车辆之间的环境交互信息反映不同场景车辆之间的交互影响关系,每辆场景车辆的车辆行为特征反映场景车辆的车辆行驶行为。
具体的,多信息融合模块包括交互信息提取单元、行为特征识别单元、自车信息编码单元和融合单元:
(2.a)交互信息提取单元。
交互信息提取单元基于卷积层构建,并用于对所有场景车辆的动力学序列特征E={E1…En,…EN}进行信息提取得到场景车辆之间的环境交互信息Icnn。交互信息提取单元首先将所有场景车辆的动力学序列特征E={E1…En,…EN}按照对应场景车辆在图1所示场景下的车道位置对齐到3x3网格中,然后将3x3网格中的信息Ilstm=Implant(E)作为输入进行信息提取。具体的请参考图2,交互信息提取单元从输入到输出依次包括第一卷积层CNN1、第二卷积层CNN2和第一全连接层FC1,第一卷积层CNN1通过2x2的卷积核对3x3网格中的信息Ilstm进行卷积处理分别提取左上角子区域、右上角子区域、左下角子区域和右下角子区域的交互信息,每个子区域内包括3x3网格中相应方位子区域处的四辆场景车辆。第二卷积层CNN2通过2x2的卷积核对第一卷积层提取的交互信息进行卷积处理,将四个方位子区域的作用相结合,得到所有车辆,包括目标车辆之间的交互信息。最后经过第一全连接层FC1提取得到所有场景车辆之间的环境交互信息。交互信息提取单元的信息提取过程表示为Icnn=FC1(CNN2(CNN1(Ilstm)))。
(2.b)行为特征识别单元。
行为特征识别单元基于LSTM循环结构构建,并用于对所有场景车辆的动力学序列特征进行信息提取得到每辆场景车辆的车辆行为特征Rlstm。类似的,行为特征识别单元首先将所有场景车辆的动力学序列特征E={E1…En,…EN}按照对应场景车辆在图1所示场景下的车道位置对齐到3x3网格中,然后将3x3网格中的信息Ilstm=Implant(E)作为输入进行信息提取。具体的请参考图2,行为特征识别单元从输入到输出依次包括第一LSTM循环结构LSTM1、第二LSTM循环结构LSTM2和第二全连接层FC2,3x3网格中的信息依次经过第一LSTM循环结构LSTM1、第二LSTM循环结构LSTM2和第二全连接层后FC2,输出记为FC2(LSTM2(LSTM1(Ilstm)))。然后利用softmax函数进行处理输出每辆场景车辆的车辆行为特征,softmax函数为归一化指数函数,能够用于多分类任务,将多分类任务以概率的形式展现出来,softmax可以对第二全连接层后FC2的输出FC2(LSTM2(LSTM1(Ilstm)))进行分类,计算输出属于每种车辆行为特征的概率值,并输出概率值最大的车辆行为特征Rlstm
每辆场景车辆的车辆行为特征为直线行驶、左转弯、右转弯、左变道和右变道中的任意一种,每辆场景车辆的车辆行为特征通过场景车辆的航向角的变化量ω=(θii-1)/Δt进行标识,θi-1为第i-1采样时间点的航向角,θi为第i采样时间点的航向角,Δt是两个采样时间点之间的时间间隔,第i采样时间点为第i-1采样时间点的后一个采样时间点,且有θi=arctan((xi-xi-1)/(yi-yi-1)),(xi,yi)为第i采样时间点的位置信息,(xi-1,yi-1)为第i-1采样时间点的位置信息,航向角即为行驶方向与第i-1采样时间点的y轴正方向之间的夹角,航向角为正时表示向右,航向角为负时表示向左。预先定义不同车辆行为特征下航向角的变化量的角度范围,根据场景车辆的航向角的变化量所在的范围,即可以确定所属的车辆行为特征。
(2.c)自车信息编码单元。
自车信息编码单元用于对目标车辆的动力学序列特征进行信息编码得到自车信息编码结果Ve。自车信息编码单元包括第三全连接层FC3,用于将车辆信息动态编码模块输出的目标车辆的动力学序列特征作为一个单独的通道输出,通过第三全连接层FC3将车辆坐标向量进行转化,以便和交互信息提取单元以及行为特征识别单元的输出进行融合。假设如图1中,车辆5为目标车辆,则自车信息编码单元的输出记为Ve=FC3(E5),E5表示目标车辆5的动力学序列特征。
(2.d)融合单元。
融合单元用于对场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及目标车辆的自车信息编码结果后进行信息融合得到融合特征C=Icnn+Rlstm+Ve
(3)车辆轨迹预测模块。
车辆轨迹预测模块用于对多信息融合模块输出的融合特征进行解码处理得到所有场景车辆的预测轨迹序列。
如图2所示,车辆轨迹预测模块包括第一预测单元、第二预测单元和第六全连接层FC6,第一预测单元基于LSTM循环结构构建且用于对融合特征进行解码处理得到第一预测结果OUTLSTM,第二预测单元基于BILSTM(Bi-directional Long Short Term MemoryNetwork,双向长短时记忆网络)循环结构构建且用于对融合特征进行解码处理得到第二预测结果OUTBILSTM,第六全连接层FC6对第一预测结果和第二预测结果相加并输出所有场景车辆的预测轨迹序列
Figure BDA0003514305530000081
LSTM循环结构是循环神经网络(Recurrent Neural Networks,RNN)的变体之一,相比于原始的RNN的隐层(hidden state),LSTM增加了一个细胞状态,通过门的结构来选择哪些信息被遗忘,哪些信息被计算。LSTM网络能够弥补RNN在长序列问题处理时梯度消失的问题,更好的捕捉长序列的依赖关系,可以用来预测长时序列。而BILSTM循环结构是双向LSTM,由前向LSTM与后向LSTM组成,不仅能够利用前面的信息,还能利用后面的信息,与LSTM相比,不仅可以利用之前的信息,还可以利用之后的信息。因此,同时使用BILSTM进行轨迹预测,会比只有LSTM的模型更加准确。
具体的,第一预测单元从输入到输出依次包括第四全连接层FC4、第三LSTM循环结构LSTM3和第四LSTM循环结构LSTM4,输出记为OUTLSTM=LSTM4(LSTM3(FC4(C)))。
第二预测单元从输入到输出依次包括第五全连接层FC5、第一BILSTM循环结构BILSTM1和第二BILSTM循环结构BILSTM2,输出记为OUTBILSTM=BILSTM2(BILSTM1(FC5(C)))。
上述车辆轨迹预测模型在完成模型结构搭建后,预先利用训练数据集进行模型训练得到模型参数,模型训练过程与上述模型使用过程的操作类似,本申请不再赘述。首先构建训练数据集,包括如下步骤:
1、数据筛选:利用python语言以及pandas库、numpy库对公开数据集数据进行筛选。
首先选取目标车辆,目标车辆仅在车道内行驶、而非在车道之间压着车道线行驶,且目标车辆在整个研究区域内都只有所在车道的车道id发生变化,也即目标车辆在变道或转弯后同样在车道内行驶,而且目标车辆存在的轨迹点的数量大于130。
根据确定的目标车辆选取其相邻车辆,符合如图1所示的场景车辆的结构,且每辆相邻车辆都有不少于3s的完整轨迹,从而确定所有场景车辆的完整轨迹中,设定当前时刻并对之前的完整轨迹进行采样构建历史轨迹序列,对当前时刻之后的完整轨迹进行采样构建未来轨迹序列。
2、数据预处理:
根据所有场景车辆的历史轨迹序列添加场景车辆的车辆行为特征,具体的添加方式如上述定义,根据航向角的变化确定,此处不再赘述。
训练数据集构建完成后,使用深度学习框架pytorch作为代码框架对模型进行搭建,并利用训练数据集进行训练。具体的,使用pytorch中的Dataloader类将处理后的数据传入模型,选择Adam优化器作为模型优化器,训练轮次(epoch)20轮,每轮训练结束后,保存模型参数。初始学习率(lr:learning rate)为0.002,跟随轮次指数下降:lr(epoch)=0.002×0.9epoch-1
将预测轨迹序列与未来轨迹序列进行比较,从而更新网络参数,采用均方根误差损失函数(Root Mean Square Error,RMSE)作为网络的损失函数:
Figure BDA0003514305530000101
其中,m表示预测轨迹序列的长度,
Figure BDA0003514305530000102
表示预测轨迹序列中的点的预测位置信息,(xj,yj)表示
Figure BDA0003514305530000103
对应的点的实际位置信息。
以上所述的仅是本申请的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于车辆行为特征与环境交互信息的车辆轨迹预测方法,其特征在于,所述方法包括:
获取目标车辆所在场景中的场景车辆的历史轨迹序列,每一辆场景车辆的历史轨迹序列包括所述场景车辆在历史最近预定时长内的各个采样时间点的位置信息,所述场景车辆包括所述目标车辆及其周围的相邻车辆;
将所有场景车辆的历史轨迹序列输入车辆轨迹预测模型,输出得到所有场景车辆的预测轨迹序列,所述预测轨迹序列包括所述所有场景车辆未来的若干个预测位置信息;
其中,所述车辆轨迹预测模型包括车辆信息动态编码模块、多信息融合模块和车辆轨迹预测模块,所述车辆信息动态编码模块用于对所有场景车辆的历史轨迹序列进行动态编码得到每辆场景车辆的动力学序列特征;所述多信息融合模块用于对所有场景车辆的动力学序列特征进行处理得到场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及所述目标车辆的自车信息编码结果后进行信息融合得到融合特征,场景车辆之间的环境交互信息反映不同场景车辆之间的交互影响关系,每辆场景车辆的车辆行为特征反映所述场景车辆的车辆行驶行为;所述车辆轨迹预测模块用于对所述多信息融合模块输出的融合特征进行解码处理得到所有场景车辆的预测轨迹序列。
2.根据权利要求1所述的方法,其特征在于,所述多信息融合模块包括交互信息提取单元、行为特征识别单元、自车信息编码单元和融合单元;
所述交互信息提取单元基于卷积层构建,并用于对所有场景车辆的动力学序列特征进行信息提取得到场景车辆之间的环境交互信息;
所述行为特征识别单元基于LSTM循环结构构建,并用于对所有场景车辆的动力学序列特征进行信息提取得到每辆场景车辆的车辆行为特征;
所述自车信息编码单元用于对目标车辆的动力学序列特征进行信息编码得到自车信息编码结果;
所述融合单元用于对场景车辆之间的环境交互信息、每辆场景车辆的车辆行为特征以及所述目标车辆的自车信息编码结果后进行信息融合得到融合特征。
3.根据权利要求2所述的方法,其特征在于,所述目标车辆周围的相邻车辆包括所述目标车辆在预定距离范围内的同一车道内的前车和后车,以及所述目标车辆相邻车道的并排车辆,以及所述并排车辆同一车道内的前车和后车;
则所述交互信息提取单元和行为特征识别单元分别将所有场景车辆的动力学序列特征对齐到3x3网格中,并对3x3网格中的信息进行信息提取,所述自车信息编码单元包括第三全连接层。
4.根据权利要求3所述的方法,其特征在于,
所述交互信息提取单元从输入到输出依次包括第一卷积层、第二卷积层和第一全连接层,所述第一卷积层通过2x2的卷积核对3x3网格中的信息进行卷积处理分别提取左上角子区域、右上角子区域、左下角子区域和右下角子区域的交互信息,每个子区域内包括3x3网格中相应方位子区域处的四辆场景车辆;所述第二卷积层通过2x2的卷积核对所述第一卷积层提取的交互信息进行卷积处理,并经过所述第一全连接层提取得到所有场景车辆之间的环境交互信息。
5.根据权利要求3所述的方法,其特征在于,
所述行为特征识别单元从输入到输出依次包括第一LSTM循环结构、第二LSTM循环结构和第二全连接层,3x3网格中的信息依次经过第一LSTM循环结构、第二LSTM循环结构和第二全连接层后,利用softmax函数进行处理输出每辆场景车辆的车辆行为特征。
6.根据权利要求1所述的方法,其特征在于,每辆场景车辆的车辆行为特征为直线行驶、左转弯、右转弯、左变道和右变道中的任意一种,每辆场景车辆的车辆行为特征通过所述场景车辆的航向角的变化量ω=(θii-1)/Δt进行标识,θi-1为第i-1采样时间点的航向角,θi为第i采样时间点的航向角,Δt是两个采样时间点之间的时间间隔,第i采样时间点为第i-1采样时间点的后一个采样时间点,且有θi=arctan((xi-xi-1)/(yi-yi-1)),(xi,yi)为第i采样时间点的位置信息,(xi-1,yi-1)为第i-1采样时间点的位置信息。
7.根据权利要求1所述的方法,其特征在于,所述车辆轨迹预测模块包括第一预测单元、第二预测单元和第六全连接层,所述第一预测单元基于LSTM循环结构构建且用于对融合特征进行解码处理得到第一预测结果,所述第二预测单元基于BILSTM循环结构构建且用于对融合特征进行解码处理得到第二预测结果,所述第六全连接层对所述第一预测结果和所述第二预测结果相加并输出所有场景车辆的预测轨迹序列。
8.根据权利要求7所述的方法,其特征在于,所述第一预测单元从输入到输出依次包括第四全连接层、第三LSTM循环结构和第四LSTM循环结构。
9.根据权利要求7所述的方法,其特征在于,所述第二预测单元从输入到输出依次包括第五全连接层、第一BILSTM循环结构和第二BILSTM循环结构。
10.根据权利要求1所述的方法,其特征在于,
所述车辆信息动态编码模块包括若干个LSTM编码器,每个LSTM编码器分别对一辆场景车辆的历史轨迹序列的高维度特征进行动态编码,得到对应的场景车辆的动力学序列特征,所有场景车辆共享相同的LSTM编码器。
CN202210161869.9A 2022-02-22 2022-02-22 基于车辆行为特征与环境交互信息的车辆轨迹预测方法 Active CN114379595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210161869.9A CN114379595B (zh) 2022-02-22 2022-02-22 基于车辆行为特征与环境交互信息的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210161869.9A CN114379595B (zh) 2022-02-22 2022-02-22 基于车辆行为特征与环境交互信息的车辆轨迹预测方法

Publications (2)

Publication Number Publication Date
CN114379595A true CN114379595A (zh) 2022-04-22
CN114379595B CN114379595B (zh) 2023-04-07

Family

ID=81206049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210161869.9A Active CN114379595B (zh) 2022-02-22 2022-02-22 基于车辆行为特征与环境交互信息的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN114379595B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758502A (zh) * 2022-04-29 2022-07-15 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN115050184A (zh) * 2022-06-13 2022-09-13 九识智行(北京)科技有限公司 一种路口车辆轨迹预测方法及装置
CN115909749A (zh) * 2023-01-09 2023-04-04 广州通达汽车电气股份有限公司 车辆运行道路风险预警方法、装置、设备及存储介质
CN116259185A (zh) * 2023-01-30 2023-06-13 湖南大学无锡智能控制研究院 停车场场景下融合预测算法的车辆行为决策方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046919A (zh) * 2019-11-21 2020-04-21 南京航空航天大学 一种融合行为意图的周围动态车辆轨迹预测***及方法
CN111930110A (zh) * 2020-06-01 2020-11-13 西安理工大学 一种结合社会生成对抗网络的意图轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
WO2021180130A1 (zh) * 2020-03-13 2021-09-16 商汤集团有限公司 轨迹预测
CN113627239A (zh) * 2021-06-28 2021-11-09 上海交通大学 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046919A (zh) * 2019-11-21 2020-04-21 南京航空航天大学 一种融合行为意图的周围动态车辆轨迹预测***及方法
WO2021180130A1 (zh) * 2020-03-13 2021-09-16 商汤集团有限公司 轨迹预测
CN111930110A (zh) * 2020-06-01 2020-11-13 西安理工大学 一种结合社会生成对抗网络的意图轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113627239A (zh) * 2021-06-28 2021-11-09 上海交通大学 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758502A (zh) * 2022-04-29 2022-07-15 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN114758502B (zh) * 2022-04-29 2023-08-18 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN115050184A (zh) * 2022-06-13 2022-09-13 九识智行(北京)科技有限公司 一种路口车辆轨迹预测方法及装置
CN115909749A (zh) * 2023-01-09 2023-04-04 广州通达汽车电气股份有限公司 车辆运行道路风险预警方法、装置、设备及存储介质
CN116259185A (zh) * 2023-01-30 2023-06-13 湖南大学无锡智能控制研究院 停车场场景下融合预测算法的车辆行为决策方法及装置
CN116259185B (zh) * 2023-01-30 2023-10-13 湖南大学无锡智能控制研究院 停车场场景下融合预测算法的车辆行为决策方法及装置

Also Published As

Publication number Publication date
CN114379595B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114379595B (zh) 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN111931905B (zh) 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
Hou et al. Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network
Jeong et al. Surround vehicle motion prediction using LSTM-RNN for motion planning of autonomous vehicles at multi-lane turn intersections
Lee et al. Convolution neural network-based lane change intention prediction of surrounding vehicles for ACC
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
CN110531753A (zh) 自主车辆的控制***、控制方法和控制器
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN114581870B (zh) 轨迹规划方法、装置、设备和计算机可读存储介质
Jeon et al. Traffic scene prediction via deep learning: Introduction of multi-channel occupancy grid map as a scene representation
Kumar et al. Interaction-based trajectory prediction over a hybrid traffic graph
CN112651374B (zh) 一种基于社会信息的未来轨迹预测方法及自动驾驶***
CN114169241A (zh) 一种端到端的多目标识别、追踪与预测方法
Mukherjee et al. Interacting vehicle trajectory prediction with convolutional recurrent neural networks
CN114372570A (zh) 一种多模态车辆轨迹预测方法
CN115049130B (zh) 一种基于时空金字塔的自动驾驶轨迹预测方法
CN113159403A (zh) 路口行人轨迹预测的方法及装置
CN115520223A (zh) 网联环境下基于驾驶员交互行为特征的车辆轨迹预测方法
Kawasaki et al. Multimodal trajectory predictions for autonomous driving without a detailed prior map
Shi et al. A novel model based on deep learning for Pedestrian detection and Trajectory prediction
Kim et al. Towards an interpretable deep driving network by attentional bottleneck
CN113191539B (zh) 一种基于异构图聚合网络的高密度复合场景轨迹预测方法
CN114723782A (zh) 一种基于异构图学习的交通场景运动目标感知方法
CN114670867A (zh) 基于分层学习和潜在风险模型的多车轨迹预测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230621

Address after: 201100 floor 2, building 2, No. 1508, Kunyang Road, Minhang District, Shanghai

Patentee after: Zhongwei Wuchuang Intelligent Technology (Shanghai) Co.,Ltd.

Address before: Room 112, E2, China Sensor Network International Innovation Park, 200 Linghu Avenue, Xinwu District, Wuxi City, Jiangsu Province, 214135

Patentee before: Wuxi Internet of Things Innovation Center Co.,Ltd.

TR01 Transfer of patent right