CN112465273A - 一种基于局部注意力机制的无人车轨迹预测方法 - Google Patents

一种基于局部注意力机制的无人车轨迹预测方法 Download PDF

Info

Publication number
CN112465273A
CN112465273A CN202011560297.9A CN202011560297A CN112465273A CN 112465273 A CN112465273 A CN 112465273A CN 202011560297 A CN202011560297 A CN 202011560297A CN 112465273 A CN112465273 A CN 112465273A
Authority
CN
China
Prior art keywords
vehicle
unmanned vehicle
track
vehicles
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011560297.9A
Other languages
English (en)
Other versions
CN112465273B (zh
Inventor
杨正才
石川
周奎
姚胜华
张友兵
尹长城
冯樱
刘成武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Automotive Technology
Original Assignee
Hubei University of Automotive Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Automotive Technology filed Critical Hubei University of Automotive Technology
Priority to CN202011560297.9A priority Critical patent/CN112465273B/zh
Publication of CN112465273A publication Critical patent/CN112465273A/zh
Application granted granted Critical
Publication of CN112465273B publication Critical patent/CN112465273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于局部注意力机制的无人车轨迹预测方法，将无人车周围车的历史轨迹作为输入，充分考虑无人车和邻车间的交互对无人车未来轨迹的影响；根据道路的几何结构和车辆几何外形来构建无人车与邻车的空间交互，再通过局部注意力机制估算与无人车未来轨迹相关度较高的部分车辆，计算这部分车辆与无人车间的相关度，利用相关度加权求和构建时间交互；综合无人车在当前时刻的与周围车的时间、空间交互，将综合交互特征输入后接全连接层的解码器，得到未来一段时间无人车轨迹分布和轨迹坐标；训练时用负对数似然损失函数计算损失，通过损失反向传播更新参数，训练好的模型预测无人车未来一段时间的轨迹，辅助后续决策规划的完成。

Description

一种基于局部注意力机制的无人车轨迹预测方法
技术领域
本发明属于智能驾驶领域，具体指代一种基于局部注意力机制的无人车轨迹预测方法。
背景技术
近年来，随着智能驾驶热潮的来临，人工智能技术在汽车上应用与日俱增，尤其对于致力于发展成纯无人驾驶的车辆而言更是如此。而作为预测汽车下一秒位置的轨迹预测技术更是实现无人驾驶的基础，只有正确的预测车辆未来的位置才能后续的动作不会对车辆造成危险，如预测到车辆即将驶离当前车道，就可以提前预判这一动作是否会造成危险，如果会造成危险便可以提前介入干涉。
当前的车辆轨迹预测技术可分为基于模型的轨迹预测方法和基于神经网络的轨迹预测方法；其中基于模型的方法包括基于动力学模型和卡尔曼滤波等方法，这些方法被证明只能在短时间内拥有较高的预测精度，然而一旦预测时间跨度增大，预测精度便会大大降低；而基于神经网络的方法，如RNN、LSTM等，则正好解决了长时间跨度内轨迹预测精度降低的这一问题，通过充分的挖掘历史信息中的非线性关系，在较长时间跨度内仍能维持令人满意的预测精度。
然而，当前基于神经网络的预测算法只粗糙的考虑无人车所有时刻的历史轨迹，通过将所有时刻历史轨迹生成最后时刻的隐态向量；这样的一个隐态向量很难保证包含所有历史时刻的重要信息，历史信息中的重要内容难免会被遗失，导致最终预测出的轨迹往往和车辆的实际轨迹有较大偏差。因此必须要提取出对当前轨迹预测影响最大历史信息，而忽略影响较小的历史信息，如无人车在换道时人类驾驶员主要观测目标车道前后车的行驶状况，来决定何时可以进行换道；这时给与无人车车道上的车辆信息较小的权重，而不是对所有车辆给与相同的权重。通过对其他车辆的历史信息与无人车历史信息的相关度得分的计算，来提取出每一时刻与无人车运动最相关的车辆轨迹信息，并将这一信息输入进神经模型进行轨迹预测，可保证在节约计算成本的同时提高轨迹预测的精度。
发明内容
针对上述现有技术的不足，本发明的目的在于解决当前轨迹预测领域中，大多数方法只粗糙的考虑周围车辆所有时刻的历史轨迹信息，没有充分的挖掘周围车辆与无人车间的交互作用，造成轨迹预测精度较低的现象。
为解决上述问题，本发明采用的技术方案是，一种基于局部注意力机制的无人车轨迹预测方法，包括以下步骤：
步骤1：采集无人车和周围车辆历史运动轨迹信息，并对轨迹信息进行预处理；
步骤2：构建无人车势力圈环境张量，提取车辆间的空间交互；
步骤3：利用局部注意力机制模型提取车辆间的时间交互；
步骤4：通过训练Encoder-Decoder结构的LSTM模型，对无人车未来轨迹预测；
进一步的，所述步骤1中，采集车辆和周围车辆的历史运动轨迹信息，并对轨迹信息进行预处理，具体方法如下：
通过将记录相机的视频截取成图片，并对每张图片进行校准，再利用目标检测算法，检测出每张图片中的车辆，并记录对应车辆的几何中心位置作为当前时刻的位置坐标，给与车辆、车辆所处车道和当前帧相应的ID编号，得到车辆的历史轨迹信息，再将轨迹信息中的帧数作为时间戳索引，对坐标进行滤波平滑，将处理好的数据按时间戳升序排列，并将数据按7:1:2划分成训练集、验证集、测试集，由此得到模型训练和验证的数据集。
进一步的，所述步骤2中，先构建一个无人车的势力圈，并综合考虑车辆长度和道路结构宽度构建势力圈对应的空张量网格；通过判断当前时刻周围车辆是否在无人车限定的势力圈范围内，将在圈内的车辆的历史观测最后时刻得隐态向量填充在车辆最后位置对应的张量网格位置中，即完后构建无人车势力圈环境张量，通过卷积层后即提取到当前时刻车辆间的空间交互信息。
进一步的，所述步骤3中，利用局部注意力机制模型提取周围车辆与无人车间的时间交互向量，计算方法如下：
利用无人车当前时刻的隐态向量求出小窗中心位置，
Figure 548443DEST_PATH_IMAGE001
，根据小窗中心位置确定小窗的范围，将落在小窗范围内的周围车辆当前时刻的隐态向量一一与无人车隐态向量计算相关度
Figure DEST_PATH_IMAGE002
，计算得到的相关度与对应的周围车辆隐态向量加权求平均，得到当前时刻车辆间的时间交互信息
Figure 527900DEST_PATH_IMAGE003
。
进一步的，所述步骤中4中，通过Encoder-Decoder结构的LSTM模型，对无人车未来轨迹预测的具体步骤为：
（1）根据步骤1得到的车辆历史轨迹，将整个观测时间内的轨迹坐标输入进全连接层，获得所有时刻轨迹坐标的词嵌入向量
Figure DEST_PATH_IMAGE004
；
（2）将当前时刻轨迹坐标的词嵌入向量
Figure 229009DEST_PATH_IMAGE005
和上一时刻编码器隐态向量
Figure DEST_PATH_IMAGE006
输入进LSTM的编码器,即得到当前时刻的编码器隐态向量
Figure 686535DEST_PATH_IMAGE007
，同上，即可得到所有时刻轨迹坐标的编码器隐态向量
Figure DEST_PATH_IMAGE008
；
（3）将得到的所有车辆当前时刻的编码器隐态向量
Figure 704170DEST_PATH_IMAGE009
，代入步骤2中构建好的势力圈对应的空张量网格中的对应位置，得到无人车势力圈环境张量；
（4）根据步骤3，将无人车当前时刻的隐态向量求出小窗中心位置，确定与无人车相关度最高的周围车辆范围，一一与无人车隐态向量计算相关度，加权平均得到时间交互向量；
（5）将步骤2和步骤3得到的空间、时间交互向量contact在一起，得到综合交互特征
Figure DEST_PATH_IMAGE010
，将
Figure 588949DEST_PATH_IMAGE011
和上一时刻解码器隐态向量
Figure DEST_PATH_IMAGE012
输入进LSTM的解码器，即可得到当前时刻无人车解码器隐态向量
Figure 921229DEST_PATH_IMAGE013
，即
Figure DEST_PATH_IMAGE014
；
（6）将当前时刻无人车解码器隐态向量
Figure 41501DEST_PATH_IMAGE015
通过全连接层后，即可得到t+1时预测轨迹的概率分布参数
Figure DEST_PATH_IMAGE016
，其中
Figure 772696DEST_PATH_IMAGE017
，即为t+1时无人车的预测轨迹坐标；
进一步的，所述步骤中4中，训练Encoder-Decoder结构的LSTM模型，模型训练以使负对数似然损失函数最小化为目标，并根据损失函数相对于过程权重参数的误差进行反向传播，使用梯度下降算法来更新过程权重参数，保存轨迹预测模型泛化能力最好时的模型权重参数，完成模型训练。
本发明基于局部注意力机制提出一种无人车轨迹预测方法，综合考虑无人车与周围车辆在空间位置上的交互和周围车辆时间序列上的依赖关系，利用“Encoder-Decoder”结构的LSTM网络对无人车未来时刻轨迹进行预测，该方法从提高车辆的预判能力角度出发，通过目标识别算法采集出车辆的历史轨迹信息，包括车辆ID、车辆所处车道ID、采集时间ID和车辆在画面帧的几何中心位置坐标；基于道路结构和车辆几何结构构建无人车势力圈对应的车辆空间交互张量，对车辆历史轨迹信息编码，将在无人车势力圈内的编码后的隐态向量填充在张量对应位置，充分考虑了道路结构和车辆的位置交互；并基于局部注意力机制计算出周围车辆轨迹与无人车轨迹相关度最高的部分车辆，对这部分车辆与无人车间的相关度进行计算，加权求和得到车辆间的时间交互信息；综合空间和时间交互，将综合交互信息输入解码器，后接全连接层得到未来一段时间的无人车轨迹分布和轨迹坐标。通过负对数似然损失函数计算每次训练损失误差，将误差反向传播求导，再通过梯度下降更新参数，使得模型训练收敛加速；使最终训练的模型泛化性能较好，预测精度能在不同数据集上均保持较好的表现，为智能驾驶汽车后续决策提供了基础，使之能够在复杂的交通场景下更加可靠的行驶。
附图说明
图1为本发明的实施流程图；
图2为预处理后的数据格式图；
图3为无人车势力圈张量构建示意图；
图4为局部注意力机制提取车辆时间交互示意图。
具体实施方式
以下结合附图和具体实施例来进一步阐述本发明的技术方案，应用具体实例仅在方便本技术领域人员详细理解本发明内容，而不用于对本发明的范围进行限制，本领域技术人员对本发明的各种等价形式修改均落在本申请所附权利要求限定范围内。
一种基于局部注意力机制的无人车轨迹预测方法，在智能驾驶车辆行驶过程中，通过无人车和周围车辆的历史行驶轨迹，预测无人车在未来一段时间的行驶轨迹，为车辆后续的规划、决策提供了足够的信息，从而有效避免车辆因偏离车道发生交通事故。如图1所示，该车辆轨迹预测方法包括：车辆轨迹信息预处理、轨迹信息编码、构建无人车与周围车辆的空间交互向量、通过局部注意力机制构建无人车与周围车辆的时间交互向量、预测轨迹输出、模型过程参数推导和优化。
该方法的具体实施过程如下：
A、对采集的数据进行预处理；
A1、在一段道路上记录试验车辆的信息，由于使用相机采集数据，初始数据格式为包含车辆信息的视频文件。将视频文件按照10Hz的采样频率截取成图片，每幅图片经过校准后，根据目标检测的先验知识，对图像中的车辆进行检测，并确定车辆的几何中心位置，提取出车辆的轨迹信息，即每个时刻车辆的局部坐标(x,y)，并记录当前采集时刻的Frame_ID、对应车辆编号Vehicle_ID和车辆所处的车道编号Lane_ID；
A2、此时的数据格式为“.csv”,通过pandas库处理成Dataframe格式，并通过Savitzky-Golay滤波器对数据加以平滑；
A3、通过resize函数将Dataframe处理为5列，第一列为车辆编号Vehicle_ID，第二列为当前采集时刻的Frame_ID，第三、第四列分别为车辆局部坐标系的横坐标x和纵坐标y,第五列为车辆所处车道编号Lane_ID。最后以Frame_ID作为时间戳，将处理好的数据按升序排列，最终数据处理效果如图2所示；
B、对输入数据编码
B1、给定t时刻一段车辆的历史轨迹：
Figure DEST_PATH_IMAGE018
，其中
Figure 828377DEST_PATH_IMAGE019
表示周围i辆车在当前t时刻的轨迹，其中车辆历史轨迹的观测长度为
Figure DEST_PATH_IMAGE020
，历史观测范围即为从
Figure 645023DEST_PATH_IMAGE021
到当前t时刻内的行驶轨迹；
B2、将当前t时刻时的历史观测长度内第i辆车的所有位置坐标通过全连接层映射到对应的词嵌入向量
Figure DEST_PATH_IMAGE022
，即：
Figure 178773DEST_PATH_IMAGE023
其中
Figure DEST_PATH_IMAGE024
为全连接函数，
Figure 498896DEST_PATH_IMAGE025
为全连接层的权重；
同理，可获得整个历史观测长度内第i辆车的所有位置坐标对应的词嵌入向量
Figure DEST_PATH_IMAGE026
，即：
Figure 587462DEST_PATH_IMAGE027
；
B3、第i辆车当前t时刻的词嵌入向量
Figure DEST_PATH_IMAGE028
与上一时刻
Figure 32350DEST_PATH_IMAGE029
时的编码器隐含状态状态向量
Figure DEST_PATH_IMAGE030
一同作为输入，经过LSTM的编码器的编码得到当前t时刻无人车周围第i车的编码隐含状态状态向量
Figure 635369DEST_PATH_IMAGE031
，即：
Figure DEST_PATH_IMAGE032
其中，
Figure 341157DEST_PATH_IMAGE033
为LSTM模型的编码器，负责将每辆车的轨迹信息编码到隐含状态向量中去，
Figure DEST_PATH_IMAGE034
为编码器的权重；
B4、对每辆车所有时刻的位置坐标执行相同的词嵌入和编码操作，可得到所有车的隐含状态向量。其中
Figure 738640DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
分别为当前t时刻第i辆车和无人车的编码隐含状态向量；
同理，可获得整个历史观测长度内第辆车和无人车的所有位置坐标对应的编码器状态向量
Figure 529879DEST_PATH_IMAGE037
，即：
Figure DEST_PATH_IMAGE038
；
C、提取车辆间的交互信息
C1、用卷积层提取无人车与周围车辆间的空间交互；
将无人车周围所有车历史轨迹输入到LSTM模型的编码器中，基于t时刻无人车周围所有车辆的坐标位置，求得所有周围车辆当前时刻t时的编码隐含状态向量
Figure 936589DEST_PATH_IMAGE039
；
将所有周围车辆当前时刻t时的编码隐含状态向量
Figure DEST_PATH_IMAGE040
通过线性变化，构建一个张量：
Figure 496884DEST_PATH_IMAGE041
其中，
Figure DEST_PATH_IMAGE042
，
Figure 599357DEST_PATH_IMAGE043
为通过反向传播学习到的权重矩阵。
Figure DEST_PATH_IMAGE044
为一个指示函数，判断t时刻周围第i辆车的位置坐标
Figure 612312DEST_PATH_IMAGE045
是否在t时刻无人车的势力圈范围内，无人车势力圈如图3展示的一样，当且仅当
Figure DEST_PATH_IMAGE046
在
Figure 698080DEST_PATH_IMAGE047
的势力圈范围内时指示函数才为1，否则为0；其中
Figure DEST_PATH_IMAGE048
为t时刻无人车周围车辆的集合；
无人车势力圈的范围定义为以t时刻无人车坐标
Figure 112880DEST_PATH_IMAGE049
为中心原点，横向坐标落在[-4.5m,4.5m]区间内，纵向坐标落在[-20m,30m]区间内的矩形区域；由于车长度一般约为5.5m左右，车道宽3m左右，构建维度为[9,3]的张量
Figure DEST_PATH_IMAGE050
，这样构建的张量
Figure 383325DEST_PATH_IMAGE050
可以很好的保留道路上车辆间空间位置信息和道路结构信息；
在无人车为
Figure 414735DEST_PATH_IMAGE051
位置时的张量
Figure DEST_PATH_IMAGE052
上进行卷积操作，卷积滤波器作用在H上，即可得到当前时刻无人车与周围车辆空间位置信息的交互向量
Figure 38614DEST_PATH_IMAGE053
：
Figure DEST_PATH_IMAGE054
其中，
Figure 573501DEST_PATH_IMAGE055
为当前卷积操作滤波器的大小；
C2、用局部注意力机制模型提取无人车与周围车辆间的时间交互；
设立一个局部窗口，窗口中尽可能包括当前t时刻所有周围i辆车中历史轨迹与无人车相关度最高车辆的编码隐态向量；
根据无人车在t时刻的编码隐含状态向量
Figure DEST_PATH_IMAGE056
，求得局部小窗的中心位置
Figure 14846DEST_PATH_IMAGE057
：
Figure DEST_PATH_IMAGE058
其中
Figure 267973DEST_PATH_IMAGE059
为t时刻无人车周围所有i辆车的隐态向量长度，
Figure DEST_PATH_IMAGE060
、
Figure 545809DEST_PATH_IMAGE061
是通过训练学习到的参数矩阵；
如图4所示，根据求得的局部窗口的中心位置
Figure DEST_PATH_IMAGE062
，可确定窗口的大小范围为
Figure 669623DEST_PATH_IMAGE063
，即只考虑t时刻周围所有i辆车在此窗口范围内的隐态向量值
Figure DEST_PATH_IMAGE064
。其中D为整数，取值根据实际情况确定；
将窗口内周围第i辆车在t时刻的隐态向量
Figure 281870DEST_PATH_IMAGE065
，逐一与无人车在t时刻的隐含状态向量
Figure DEST_PATH_IMAGE066
进行相关度计算，对窗口内每一时刻的周围第i辆车隐态向量与t时刻无人车隐态向量间的相关度打分，具体计算公式如下：
Figure 756713DEST_PATH_IMAGE067
其中，
Figure DEST_PATH_IMAGE068
即为t时刻小窗内周围第i辆车的隐态向量与无人车隐态向量间的相关度得分；为了使相关度得分随着与中心位置
Figure 987974DEST_PATH_IMAGE069
之间距离的扩大而减小，在sigmoid操作后添加一项高斯分布乘积因子，其均值为
Figure 763032DEST_PATH_IMAGE069
，标准差为
Figure DEST_PATH_IMAGE070
;此处相关度评价函数
Figure 280601DEST_PATH_IMAGE071
,其中
Figure DEST_PATH_IMAGE072
为中间过渡矩阵，协调
Figure 242741DEST_PATH_IMAGE073
和
Figure DEST_PATH_IMAGE074
之间正常进行矩阵运算；
对t时刻小窗内的周围i辆车所有编码器隐态向量
Figure 12114DEST_PATH_IMAGE075
逐一与此时的无人车编码器隐态向量
Figure DEST_PATH_IMAGE076
计算相关度得分；并将各自的相关度得分与对应的编码器隐态向量
Figure 376099DEST_PATH_IMAGE077
相乘，求加权平均数，即可得到t时刻无人车与周围第i辆车间的时间交互关系向量
Figure DEST_PATH_IMAGE078
，即：
Figure 801920DEST_PATH_IMAGE079
C3、将t时刻提取出的周围车辆的空间交互特征与时间交互特征连接在一起，构成t时刻无人车与周围车的综合交互特征
Figure DEST_PATH_IMAGE080
：
Figure 516935DEST_PATH_IMAGE081
D、解码器输出
D1、基于t时刻无人车与周围车的综合交互特征
Figure DEST_PATH_IMAGE082
，和上一时刻无人车解码器的输出
Figure 214633DEST_PATH_IMAGE083
，一起作为LSTM解码器的输入，即可得到t时刻无人车解码器隐态向量
Figure DEST_PATH_IMAGE084
，即
Figure 636387DEST_PATH_IMAGE085
其中，
Figure DEST_PATH_IMAGE086
为网络反向传播得到的LSTM解码器权重；
E、预测轨迹输出
E1、将得到t时刻无人车解码器隐态向量
Figure 761338DEST_PATH_IMAGE087
通过一个全连接层后便可得到t+1时预测轨迹Y的概率分布参数
Figure DEST_PATH_IMAGE088
，即
Figure 432490DEST_PATH_IMAGE089
的条件概率分布参数，计算公式如下：
Figure DEST_PATH_IMAGE090
其中，
Figure 933879DEST_PATH_IMAGE091
为全连接层函数，
Figure DEST_PATH_IMAGE092
为全连接层的权重，通过网络训练得到；
Figure 6877DEST_PATH_IMAGE093
，其中
Figure DEST_PATH_IMAGE094
为t时刻无人车预测的t+1时刻坐标轨迹坐标分布的均值，
Figure 40080DEST_PATH_IMAGE095
为t时刻无人车预测的t+1时刻坐标轨迹坐标分布的标准差，
Figure DEST_PATH_IMAGE096
为t时刻无人车预测的t+1时刻坐标轨迹坐标分布的协方差系数。所以t时刻无人车预测的t+1时刻坐标轨迹坐标为:
Figure 198529DEST_PATH_IMAGE097
F、模型过程参数推导和优化
F1、将数据集按照7:1:2的比例分成训练集、验证集和测试集，不断用验证集对训练好的模型进行验证，确保模型在训练集和验证集上的表现一致性；
F2、在训练过程中使负对数似然损失函数最小化，通过反向传播更新参数获得负对数似然损失函数最小值时对应的模型过程权重和偏置，损失函数如下：
Figure DEST_PATH_IMAGE098

Claims (6)

1.一种基于局部注意力机制的无人车轨迹预测方法，其特征在于，包括以下步骤：
步骤1：采集无人车和周围车辆历史运动轨迹信息，并对轨迹信息进行预处理；
步骤2：构建无人车势力圈环境张量，提取车辆间的空间交互；
步骤3：利用Local attention模型提取车辆间的时间交互；
步骤4：通过训练Encoder-Decoder结构的LSTM模型，对无人车未来轨迹预测。
2.根据权利要求1所述的基于局部注意力机制的无人车轨迹预测方法，其特征在于，所述步骤1中，采集车辆和周围车辆的历史运动轨迹信息，并对轨迹信息进行预处理，具体方法如下：
通过将记录相机的视频截取成图片，并对每张图片进行校准，再利用目标检测算法，检测出每张图片中的车辆，并记录对应车辆的几何中心位置作为当前时刻的位置坐标，给与车辆、车辆所处车道和当前帧相应的ID编号，得到车辆的历史轨迹信息；再将轨迹信息中的帧数作为时间戳索引，对坐标进行滤波平滑，将处理好的数据按时间戳升序排列，并将数据按7:1:2划分成训练集、验证集、测试集，由此得到模型训练和验证的数据集。
3.根据权利要求1所述的基于局部注意力机制的无人车轨迹预测方法，其特征在于，所述步骤2中，先构建一个无人车的实力圈，并综合考虑车辆长度和道路结构宽度构建势力圈对应的空张量网格；通过判断当前时刻周围车辆是否在无人车限定的势力圈范围内，将在圈内的车辆的历史观测最后时刻得隐态向量填充在车辆最后位置对应的张量网格位置中；即完后构建无人车势力圈环境张量，通过卷积层后即提取到当前时刻车辆间的空间交互信息
Figure 74768DEST_PATH_IMAGE001
。
4.根据权利要求1所述的基于局部注意力机制的无人车轨迹预测方法，其特征在于，所述步骤3中，利用Local attention模型提取周围车辆与无人车间的时间交互向量，计算方法如下：
利用无人车当前时刻的隐态向量求出小窗中心位置，
Figure 418025DEST_PATH_IMAGE002
，根据小窗中心位置确定小窗的范围，将落在小窗范围内的周围车辆当前时刻的隐态向量一一与无人车隐态向量计算相关度
Figure 325938DEST_PATH_IMAGE003
，计算得到的相关度与对应的周围车辆隐态向量加权求平均，得到当前时刻车辆间的时间交互信息
Figure 336620DEST_PATH_IMAGE004
。
5.根据权利要求1所述的基于局部注意力机制的无人车轨迹预测方法，其特征在于，所述步骤中4中，通过Encoder-Decoder结构的LSTM模型，对无人车未来轨迹预测的具体步骤为：
（1）根据步骤1得到的车辆历史轨迹，将整个观测时间内的轨迹坐标输入进全连接层，获得所有时刻轨迹坐标的词嵌入向量
Figure 163630DEST_PATH_IMAGE005
；
（2）将当前时刻轨迹坐标的词嵌入向量
Figure 994183DEST_PATH_IMAGE006
和上一时刻编码器隐态向量
Figure 440208DEST_PATH_IMAGE007
输入进LSTM的编码器,即得到当前时刻的编码器隐态向量
Figure 39816DEST_PATH_IMAGE008
，同上，即可得到所有时刻轨迹坐标的编码器隐态向量
Figure 37728DEST_PATH_IMAGE009
；
（3）将得到的所有车辆当前时刻的编码器隐态向量
Figure 355577DEST_PATH_IMAGE010
，代入步骤2中构建好的势力圈对应的空张量网格中的对应位置，得到无人车势力圈环境张量；
（4）根据步骤3，将无人车当前时刻的隐态向量求出小窗中心位置，确定与无人车相关度最高的周围车辆范围，一一与无人车隐态向量计算相关度，加权平均得到时间交互向量；
（5）将步骤2和步骤3得到的空间、时间交互向量contact在一起，得到综合交互特征
Figure 339714DEST_PATH_IMAGE011
，将
Figure 59408DEST_PATH_IMAGE012
和上一时刻解码器隐态向量
Figure 228221DEST_PATH_IMAGE013
输入进LSTM的解码器，即可得到当前时刻无人车解码器隐态向量
Figure 33366DEST_PATH_IMAGE014
，即
Figure 821193DEST_PATH_IMAGE015
；
（6）将当前时刻无人车解码器隐态向量
Figure 395394DEST_PATH_IMAGE014
通过全连接层后，即可得到t+1时预测轨迹的概率分布参数
Figure 876054DEST_PATH_IMAGE016
，其中
Figure 761971DEST_PATH_IMAGE017
，即为t+1时无人车的预测轨迹坐标。
6.根据权利要求5所述的基于局部注意力机制的无人车轨迹预测方法，其特征在于，所述步骤中4中，训练Encoder-Decoder结构的LSTM模型，模型训练以使负对数似然损失函数最小化为目标，并根据损失函数相对于过程权重参数的误差进行反向传播，使用梯度下降算法来更新过程权重参数，保存轨迹预测模型泛化能力最好时的模型权重参数，完成模型训练。
CN202011560297.9A 2020-12-25 2020-12-25 一种基于局部注意力机制的无人车轨迹预测方法 Active CN112465273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011560297.9A CN112465273B (zh) 2020-12-25 2020-12-25 一种基于局部注意力机制的无人车轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560297.9A CN112465273B (zh) 2020-12-25 2020-12-25 一种基于局部注意力机制的无人车轨迹预测方法

Publications (2)

Publication Number Publication Date
CN112465273A true CN112465273A (zh) 2021-03-09
CN112465273B CN112465273B (zh) 2022-05-31

Family

ID=74803884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560297.9A Active CN112465273B (zh) 2020-12-25 2020-12-25 一种基于局部注意力机制的无人车轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112465273B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949597A (zh) * 2021-04-06 2021-06-11 吉林大学 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
CN113313320A (zh) * 2021-06-17 2021-08-27 湖北汽车工业学院 一种基于残差注意力机制的车辆轨迹预测方法
CN113362367A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多精度交互的人群轨迹预测方法
CN113570595A (zh) * 2021-08-12 2021-10-29 上汽大众汽车有限公司 车辆轨迹预测方法和车辆轨迹预测模型的优化方法
CN114372116A (zh) * 2021-12-30 2022-04-19 华南理工大学 一种基于lstm和时空注意力机制的车辆轨迹预测方法
CN114495036A (zh) * 2021-12-27 2022-05-13 浙江零跑科技股份有限公司 一种基于三阶段注意力机制的车辆轨迹预测方法
WO2024148057A1 (en) * 2023-01-04 2024-07-11 Zoox, Inc. Trajectory prediction for autonomous vehicles using attention mechanism

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086869A (zh) * 2018-07-16 2018-12-25 北京理工大学 一种基于注意力机制的人体动作预测方法
CN110276439A (zh) * 2019-05-08 2019-09-24 平安科技（深圳）有限公司 基于注意力机制的时间序列预测方法、装置及存储介质
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086869A (zh) * 2018-07-16 2018-12-25 北京理工大学 一种基于注意力机制的人体动作预测方法
CN110276439A (zh) * 2019-05-08 2019-09-24 平安科技（深圳）有限公司 基于注意力机制的时间序列预测方法、装置及存储介质
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAOUTHER MESSAOUD,ETC: "Attention Based Vehicle Trajectory Prediction", 《IEEE TRANSACTIONS ON INTELLIGENT VEHICLES》, 30 April 2020 (2020-04-30), pages 1 - 11 *
刘创等: "基于注意力机制的车辆运动轨迹预测", 《浙江大学学报(工学版)》, no. 06, 30 June 2020 (2020-06-30), pages 1156 - 1163 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949597A (zh) * 2021-04-06 2021-06-11 吉林大学 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
CN112949597B (zh) * 2021-04-06 2022-11-04 吉林大学 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
CN113313320A (zh) * 2021-06-17 2021-08-27 湖北汽车工业学院 一种基于残差注意力机制的车辆轨迹预测方法
CN113313320B (zh) * 2021-06-17 2022-05-31 湖北汽车工业学院 一种基于残差注意力机制的车辆轨迹预测方法
CN113362367A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多精度交互的人群轨迹预测方法
CN113362367B (zh) * 2021-07-26 2021-12-14 北京邮电大学 一种基于多精度交互的人群轨迹预测方法
CN113570595A (zh) * 2021-08-12 2021-10-29 上汽大众汽车有限公司 车辆轨迹预测方法和车辆轨迹预测模型的优化方法
CN114495036A (zh) * 2021-12-27 2022-05-13 浙江零跑科技股份有限公司 一种基于三阶段注意力机制的车辆轨迹预测方法
CN114372116A (zh) * 2021-12-30 2022-04-19 华南理工大学 一种基于lstm和时空注意力机制的车辆轨迹预测方法
CN114372116B (zh) * 2021-12-30 2023-03-21 华南理工大学 一种基于lstm和时空注意力机制的车辆轨迹预测方法
WO2024148057A1 (en) * 2023-01-04 2024-07-11 Zoox, Inc. Trajectory prediction for autonomous vehicles using attention mechanism

Also Published As

Publication number Publication date
CN112465273B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN112465273B (zh) 一种基于局部注意力机制的无人车轨迹预测方法
CN111242036B (zh) 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
EP4152204A1 (en) Lane line detection method, and related apparatus
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN112733800B (zh) 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN109145836B (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN112465199B (zh) 空域态势评估***
JP2022025008A (ja) テキスト行識別に基づくナンバープレート識別方法
CN113313320B (zh) 一种基于残差注意力机制的车辆轨迹预测方法
CN115205855B (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN115690153A (zh) 一种智能体轨迹预测方法及***
CN113989287A (zh) 城市道路遥感图像分割方法、装置、电子设备和存储介质
CN116109986A (zh) 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN114926796A (zh) 一种基于新式混合注意力模块的弯道检测方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
Gao et al. Robust lane line segmentation based on group feature enhancement
CN112232102A (zh) 一种基于深度神经网络和多任务学习的建筑物目标识别方法和***
CN115147720A (zh) 基于坐标注意力和长短距上下文的sar舰船检测方法
CN116469013B (zh) 道路积水预测方法、装置、计算机设备及存储介质
CN117893934B (zh) 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant