CN114742317A - 车辆轨迹预测方法、装置、电子设备及存储介质 - Google Patents

车辆轨迹预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114742317A
CN114742317A CN202210515263.0A CN202210515263A CN114742317A CN 114742317 A CN114742317 A CN 114742317A CN 202210515263 A CN202210515263 A CN 202210515263A CN 114742317 A CN114742317 A CN 114742317A
Authority
CN
China
Prior art keywords
feature
track
future
sequence
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210515263.0A
Other languages
English (en)
Inventor
林华东
范圣印
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yihang Yuanzhi Intelligent Technology Co ltd
Original Assignee
Suzhou Yihang Yuanzhi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yihang Yuanzhi Intelligent Technology Co ltd filed Critical Suzhou Yihang Yuanzhi Intelligent Technology Co ltd
Priority to CN202210515263.0A priority Critical patent/CN114742317A/zh
Publication of CN114742317A publication Critical patent/CN114742317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种车辆轨迹预测方法，包括：获取目标车辆的第一未来轨迹特征序列；获取目标车辆的观测图像特征以生成特征图；基于特征图获取目标车辆的第二未来轨迹特征序列，基于特征图获取目标车辆的轨迹多模态特征；获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；将第一未来反转轨迹特征序列和第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；将未来轨迹融合特征序列中的每个未来轨迹融合特征与轨迹多模态特征进行第二融合处理，获得最终未来轨迹特征以用于生成最终未来预测轨迹；基于语义地图中的车道线对最终未来预测轨迹进行修正，获得修正轨迹。本公开还提供了一种车辆轨迹预测装置、电子设备。

Description

车辆轨迹预测方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉、自动驾驶技术领域，本公开尤其涉及一种车辆轨迹预测方法、装置、电子设备及存储介质。
背景技术
在车辆驾驶过程中，司机可以通过判断车辆的运动状态，从而做出正确的决策，避免交通事故的发生。然而，自动驾驶***若仅通过检测和跟踪车辆(即本车附近车辆)，难以做出合理的决策。
如果检测到车辆就停止，会增加交通拥挤程度，而错误地选择继续前行，会导致碰撞的发生。为此，对车辆未来轨迹做出合理的预测，可以提高交通***的安全性和通畅性。然而，车辆轨迹预测存在很大的挑战性，道路的拓扑结构、交通标志和信号灯、车辆与周边代理之间的交互等都会影响车辆轨迹的预测。
以下为现有技术中的车辆轨迹预测技术方案：
方案1：2020年的WACV论文“Uncertainty-aware Short-term Motion Predictionof Traffic Actors for Autonomous Driving”提出使用栅格化的高精地图，即栅格地图，提供更加全面和精细的地图信息。模型采用某一时刻车辆的状态(位置、速度、加速度)作为输入，再结合经过卷积神经网络处理后的栅格地图预测未来轨迹。
方案2：2021年的CVPR论文“Multimodal Motion Prediction with StackedTransformers”基于堆叠的Transformer进行轨迹预测。用三个堆叠的Transformer分别提取轨迹信息、高精地图信息和交互信息，并生成多个建议轨迹特征。第一个Transformer的Decoder用可学习的参数初始化，后面每一个Decoder的输入是前一个Decoder的输出。然后，对每个建议轨迹特征进行解码，生成未来轨迹和置信度。同时，未来预测轨迹被划分到多个独立的区域，在不同的区域进行优化。堆叠的Transformer单独处理语义地图和轨迹数据，通过堆叠的形式进行融合，减少了不同类型特征之间的相互干扰。
方案3：中国专利文献CN114022847A《一种智能体轨迹预测方法、***、设备和存储介质》通过将图神经网络与生成式网络结合起来，借由图神经网络表达智能体间的交互，通过循环神经网络提取历史和未来信息，通过生成式网络得到轨迹的概率模型。但是，生成式网络对于轨迹多模态的可解释性比较差。
方案4：中国专利文献CN114004406A《车辆轨迹预测方法、装置、存储介质及电子设备》提出一种轨迹修正方法。首先同时预测目标车辆和周围车辆的轨迹，得到初始预测轨迹；然后，根据初始预测轨迹计算所有周围车辆相对于目标车辆的轨迹修正量，最后基于轨迹修正量对目标车辆的初始预测轨迹进行修正得到最终预测轨迹。这种基于交互的轨迹修正方法，在一定程度上避免车辆发生碰撞，能够提高在密集交通场景下车辆轨迹预测的准确性。但是，修正后的轨迹可能不满足车道线的约束。
现阶段，车辆轨迹预测具有以下三个难点，现有技术中的论文或专利难以充分解决。
一是多模态输入融合效果差。车辆轨迹预测的输入是多模态的，一般包括高精地图和历史轨迹。高精地图的表现形式有普通的语义地图、栅格化的语义地图、向量化的地图等。Transformer在序列预测领域得到广泛的应用，为了迁移到轨迹预测领域，需要融合不同类型的特征数据。但是，传统的Transformer只能处理单种类型的数据，比如直接处理文本序列或者处理图像数据。目前基于Transformer的融合方式不能充分发挥高精地图的作用。
二是轨迹多模态可解释性差。预测轨迹具有多模态的特性，即未来轨迹有多种可能的情况。多模态包括方向多模态和速度多模态。对于方向多模态，车辆在路口会有左转、直行、右转等多种选择，或者在周围车辆的影响也下会发生转弯。对于速度多模态，由于交通信号灯和周边车辆等影响，车辆会加速、匀速、减速、急刹等。目前多模态轨迹的生成方式有生成模型和两阶段预测两种方法。生成模型常用的有GAN(生成对抗网络)和CVAE(条件变分自编码器)，通过采样不同的噪声来生成轨迹，虽然轨迹具备一定的多模态，但是缺少可解释性。两阶段预测方法是指先预测终点，再基于终点预测轨迹。通过把终点的约束考虑进来，更加符合人类驾驶员的在真实场景下的反应。Transformer在序列预测领域有突出的优势，但是因为其固有的框架，难以把终点约束考虑进去。
三是轨迹不满足车道线的约束。在真实的交通场景中，驾驶员一般会沿着车道线行驶，所以真实轨迹一般要满足车道线的约束。但是，模型预测出的多条轨迹具有随机性，轨迹可能不满足车道线的约束或者车道线的约束不够强。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了一种车辆轨迹预测方法、装置、电子设备、存储介质及程序产品。
根据本公开的一个方面，提供一种车辆轨迹预测方法，包括：
S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；
S130、基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；
S140、将所述第一未来轨迹特征序列和所述第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；
S150、将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测方法，还包括：
S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列，包括：
S111、对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
S112、使用第一Transformer模型的编码器对所述预编码特征进行编码处理，获得第一特征向量；
S113、使用第一Transformer模型的解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图，包括：
使用基于CNN的骨干网络对语义地图进行特征提取获取所述目标车辆的观测图像特征以生成特征图。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S130中，基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，包括：
S131、将所述特征图分割为多个特征子图，获得特征子图序列；
S132、对所述特征子图序列进行位置编码处理，获得预编码特征；
S133、使用第二Transformer模型的编码器对预编码特征进行编码处理，获得第二特征向量；
S134、使用第二Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述第二未来轨迹特征序列。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S130中，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征，包括：
S135、使用第三Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述目标车辆的至少一个轨迹多模态特征。
根据本公开的至少一个实施方式的车辆轨迹预测方法，所述第一Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器。
根据本公开的至少一个实施方式的车辆轨迹预测方法，所述第二Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器。
根据本公开的至少一个实施方式的车辆轨迹预测方法，所述第三Transformer模型的解码器为经过可学习的嵌入初始化并进行了多模态特征学习的解码器。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，包括：
将每一个轨迹多模态特征与所述未来轨迹融合特征序列中的每个未来轨迹融合特征进行拼接处理，获得基于每一个轨迹多模态特征的最终未来轨迹特征。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，还包括：
对每一个最终未来轨迹特征进行基于自注意力机制(Self-Attention)的处理，并通过多层感知机获得基于每一个最终未来轨迹特征的最终未来预测轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测方法，S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹，包括：
S171、对于每一条最终未来预测轨迹，获取与其距离最近的车道线；
S172、对最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；对与所述最终未来预测轨迹距离最近的车道线进行基于GRU的编码处理，获得车道线编码序列，对车道线编码序列进行位置编码，获得最终车道线编码序列；
S173、对所述最终未来预测轨迹编码序列及所述最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；
S174、基于多层感知机对所述修正轨迹特征进行解码处理，获得所述修正轨迹。
根据本公开的另一个方面，提供一种车辆轨迹预测装置，包括：
第一未来轨迹特征序列获取模块，所述第一未来轨迹特征序列获取模块基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
特征图获取模块，所述特征图获取模块基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；
第二未来轨迹特征序列获取模块，所述第二未来轨迹特征序列获取模块基于所述特征图获取所述目标车辆的第二未来轨迹特征序列；
轨迹多模态特征获取模块，所述轨迹多模态特征获取模块基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；
第一反转处理模块，所述第一反转处理模块将所述第一未来轨迹特征序列进行序列反转，获得第一未来反转轨迹特征序列；
第二反转处理模块，所述第二反转处理模块将所述第二未来轨迹特征序列进行序列反转，获得第二未来反转轨迹特征序列；
第一融合处理模块，所述第一融合处理模块将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
第二融合处理模块，所述第二融合处理模块将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征；
最终未来预测轨迹生成模块，所述最终未来预测轨迹生成模块基于所述最终未来轨迹特征生成至少一个最终未来预测轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测装置，还包括：
修正模块，所述修正模块基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述第一未来轨迹特征序列获取模块包括：
嵌入处理及位置编码处理模块，所述嵌入处理及位置编码处理模块对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
第一Transformer模型编码器，所述第一Transformer模型编码器对所述预编码特征进行编码处理，获得第一特征向量；
第一Transformer模型解码器，所述第一Transformer模型解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述特征图获取模块包括：
基于CNN的骨干网络(backbone)模块，所述基于CNN的骨干网络(backbone)模块对语义地图进行特征提取获取所述目标车辆的观测图像特征以生成特征图。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述第二未来轨迹特征序列获取模块包括：
特征图分割模块，所述特征图分割模块将所述特征图分割为多个特征子图，获得特征子图序列；
位置编码处理模块，所述位置编码处理模块对所述特征子图序列进行位置编码处理，获得预编码特征；
第二Transformer模型编码器，所述第二Transformer模型编码器对所述预编码特征进行编码处理，获得第二特征向量；
第二Transformer模型解码器，所述第二Transformer模型解码器对所述第二特征向量进行解码处理，获得所述第二未来轨迹特征序列。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述轨迹多模态特征获取模块包括：
第三Transformer模型解码器，所述第三Transformer模型解码器对所述第二特征向量进行解码处理，获得所述目标车辆的至少一个轨迹多模态特征。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述最终未来预测轨迹生成模块包括：自注意力机制模块及多层感知机模块；
将每一个最终未来轨迹特征输入至所述自注意力机制(Self-Attention)模块进行处理，所述自注意力机制模块的输出作为所述多层感知机模块的输入，经所述多层感知机的处理获得基于每一个最终未来轨迹特征的最终未来预测轨迹。
根据本公开的至少一个实施方式的车辆轨迹预测装置，所述修正模块包括：
车道线获取模块，所述车道线获取模块从语义地图中获取每一条最终未来预测轨迹的最近距离的车道线；
第一GRU模块，所述第一GRU模块对所述最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；
第二GRU模块，所述第二GRU模块对每一条最终未来预测轨迹的最近距离的车道线进行基于GRU的编码处理，获得车道线编码序列；
位置编码模块，所述位置编码模块对所述车道线编码序列进行位置编码，获得最终车道线编码序列；
多头注意力机制模块，所述多头注意力机制模块对所述最终未来预测轨迹编码序列及所述最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；
多层感知机模块，所述多层感知机模块对所述修正轨迹特征进行解码处理，获得所述修正轨迹。
根据本公开的又一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开的任一个实施方式的车辆轨迹预测方法。
根据本公开的又一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开的任一个实施方式的车辆轨迹预测方法。
根据本公开的再一个方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开的任一个实施方式的车辆轨迹预测方法。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的一个实施方式的车辆轨迹预测方法的流程示意图。
图2是本公开的又一个实施方式的车辆轨迹预测方法的流程示意图。
图3是本公开的一个实施方式的第一未来轨迹特征序列的获取方法的流程示意图。
图4是本公开的一个实施方式的第二未来轨迹特征序列的获取方法的流程示意图。
图5是本公开的一个实施方式的轨迹多模态特征的获取方法的流程示意图。
图6是本公开的一个实施方式的对最终未来预测轨迹进行修正的方法的流程示意图。
图7是本公开的一个实施方式的实现本公开的车辆轨迹预测方法的网络模型的结构示意框图。
图8是本公开的一个实施方式的模型训练过程中的损失函数计算步骤的流程示意图。
图9是本公开的一个实施方式的采用处理***的硬件实现方式的车辆轨迹预测装置的结构示意框图。
图10是本公开的又一个实施方式的采用处理***的硬件实现方式的车辆轨迹预测装置的结构示意框图。
附图标记说明
1000 车辆轨迹预测装置
1002 第一未来轨迹特征序列获取模块
1004 特征图获取模块
1006 第二未来轨迹特征序列获取模块
1008 轨迹多模态特征获取模块
1010 第一反转处理模块
1012 第二反转处理模块
1014 第一融合处理模块
1016 第二融合处理模块
1018 最终未来预测轨迹生成模块
1020 修正模块
1100 总线
1200 处理器
1300 存储器
1400 其他电路。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
下文结合图1至图10对本公开的车辆轨迹预测方法、车辆轨迹预测装置进行详细说明。
图1是本公开的一个实施方式的车辆轨迹预测方法的流程示意图。
参考图1，本实施方式的车辆轨迹预测方法S100，包括：
S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
S120、基于以目标车辆为中心的语义地图获取目标车辆的观测图像特征以生成特征图；
S130、基于特征图获取目标车辆的第二未来轨迹特征序列，基于特征图获取目标车辆的至少一个轨迹多模态特征(其中，轨迹多模态特征的个数为K，对应预测轨迹的个数K，K为大于等于1的自然数)；
S140、将第一未来轨迹特征序列和第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；
S150、将第一未来反转轨迹特征序列和第二未来反转轨迹特征序列进行第一融合处理(优选为Concat操作)，获得未来轨迹融合特征序列；以及
S160、将未来轨迹融合特征序列中的每个未来轨迹融合特征与至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹。
本公开中，定义车辆观测轨迹序列和未来真实轨迹序列，具体表达式分别如公式(1)和公式(2)所示。其中，N表示轨迹的总条数，Xi表示第i条观测轨迹(即第i个目标车辆的观测轨迹)，tobs表示观测轨迹持续的时间。Yi表示第i条未来真实轨迹，tpred表示未来轨迹持续的时间；
Figure BDA0003639260960000091
分别表示轨迹i在t时刻的横坐标、纵坐标、速度、加速度、偏航角速度、偏航角。X是观测轨迹的集合，Y是未来真实轨迹的集合，如公式(3)和(4)所示。
Figure BDA0003639260960000092
Figure BDA0003639260960000093
X＝{X1,X2,...,XN} (3)
Y＝{Y1,Y2,...,YN} (4)
定义预测轨迹的个数为K。未来预测轨迹的表达式如(5)所示。
Figure BDA0003639260960000094
表示第i条数据的第k条预测轨迹。
Figure BDA0003639260960000095
是K条轨迹的集合，如公式(6)所示。
Figure BDA0003639260960000096
Figure BDA0003639260960000101
定义语义地图为I，优选地，使用栅格化的语义地图。语义地图以目标车辆为中心，车头朝正前方，左侧、右侧、前方、后方的实际距离分别为a米、b米、c米、d米，示例性地，a＝40，b＝25，c＝25，d＝10。地图I的图像大小为(3,H,W)，表示通道数为3，高和宽分别为H和W，示例性地，H＝W＝200。
本公开描述的语义地图是电子地图，是一种例如精度在20-50厘米，包含多种路面属性、空间属性的高精地图。本领域技术人员在本公开技术方案的启示下，可以选用现有技术中的各种语义地图，均落入本公开的保护范围。
图2是本公开的一个优选实施方式的车辆轨迹预测方法S100，包括：
S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
S120、基于以目标车辆为中心的语义地图获取目标车辆的观测图像特征以生成特征图；
S130、基于特征图获取目标车辆的第二未来轨迹特征序列，基于特征图获取目标车辆的至少一个轨迹多模态特征；
S140、将第一未来轨迹特征序列和第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；
S150、将第一未来反转轨迹特征序列和第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
S160、将未来轨迹融合特征序列中的每个未来轨迹融合特征与至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹；
S170、基于语义地图中的车道线对最终未来预测轨迹进行修正，以获得修正轨迹。
对于上述各个实施方式的车辆轨迹预测方法S100，优选地，S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列，包括：
S111、对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；优选地，通过以下方式获取预编码特征：
X′＝XE+Epos；
其中，X为目标车辆的观测轨迹序列，E表示嵌入处理(Embedding)，Epos表示位置编码，X′为预编码特征。
S112、使用第一Transformer模型的编码器对预编码特征进行编码处理，获得第一特征向量；优选地，通过以下方式获取第一特征向量：
h1＝Encoder(X′；WX)；
其中，Encoder表示第一Transformer模型的编码器，WX是对应的参数，h1为第一特征向量。
S113、使用第一Transformer模型的解码器对第一特征向量进行解码处理，获得第一未来轨迹特征序列；优选地，通过以下方式获取第一未来轨迹特征序列：
T1＝Decoder(h1；WDX)；
其中，Decoder表示第一Transformer模型的解码器，WDX是对应的参数，T1为第一未来轨迹特征序列，其长度为tpred。
其中，第一Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器。
图3示出了本公开的一个实施方式的第一未来轨迹特征序列的获取方法的流程。
对于上述各个实施方式的车辆轨迹预测方法S100，优选地，S120、基于以目标车辆为中心的语义地图获取目标车辆的观测图像特征以生成特征图，包括：
使用基于CNN的骨干网络(backbone)对语义地图进行特征提取获取目标车辆的观测图像特征以生成特征图。
其中，骨干网络优选地使用reset18，特征图的大小为(Dimg,h,w)，Dimg表示通道数，h和w表示特征图的高和宽。
在本公开的一些实施方式中，本公开中描述的基于目标车辆的观测轨迹序列获取目标车辆的观测图像特征以生成特征图，还可以采用中国专利CN202111249188X中描述的步骤S121至S123，本公开不再赘述。
对于上述各个实施方式的车辆轨迹预测方法S100，在获取了特征图之后，本公开在S130中，基于特征图获取目标车辆的第二未来轨迹特征序列，优选地，包括：
S131、将特征图分割为多个特征子图，获得特征子图序列；
其中，特征图的数量为h×w，每个特征子图的维度是Dimg，则特征子图序列P的维度是(hw,Dimg)。
S132、对特征子图序列进行位置编码处理，获得预编码特征；优选地，通过以下方法获得预编码特征P′：
P′＝PE+Epos；
其中E表示Embedding，Epos表示位置编码。
S133、使用第二Transformer模型的编码器对预编码特征进行编码处理，获得第二特征向量；优选地，通过以下方法获得第二特征向量：
h2＝Encoder(P′；WI)；
其中，Encoder表示第二Transformer模型的编码器，WI是对应的参数。
S134、使用第二Transformer模型的解码器对第二特征向量进行解码处理，获得第二未来轨迹特征序列；优选地，通过以下方法获取第二未来轨迹特征序列：
T2＝Decoder(h2；WDI)；
其中，Decoder表示第二Transformer模型的解码器，WDI是对应的参数，T2的长度为tpred。
其中，第二Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器。
图4示出了本公开的一个实施方式的第二未来轨迹特征序列的获取方法的流程。
图5示出了本公开的一个实施方式的轨迹多模态特征的获取方法的流程。
参考图5，根据本公开的优选实施方式，S130中，基于特征图获取目标车辆的至少一个轨迹多模态特征(轨迹多模态特征的个数为K，对应预测轨迹的个数K)，包括：
S135、使用第三Transformer模型的解码器对第二特征向量进行解码处理，获得目标车辆的至少一个轨迹多模态特征；优选地，通过以下方法获取轨迹多模态特征：
M＝Decoder(h2；WDM)；
其中，Decoder表示第三Transformer模型的解码器，WDM是对应的参数，M的长度为预测轨迹的个数K。
其中，第三Transformer模型的解码器为经过可学习的嵌入初始化并进行了多模态特征学习的解码器。
对于上述各个实施方式的车辆轨迹预测方法S100，其中，S140、将第一未来轨迹特征序列和第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列，优选地，第一未来轨迹特征序列T1和第二未来轨迹特征序列T2反转后的序列为T1 rev和
Figure BDA0003639260960000121
将T1 rev和
Figure BDA0003639260960000122
进行拼接得到未来轨迹融合特征序列Trev。
在本公开的一些实施方式中，S160、将未来轨迹融合特征序列Trev中的每个未来轨迹融合特征与至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，包括：
将每一个轨迹多模态特征与未来轨迹融合特征序列Trev中的每个未来轨迹融合特征进行拼接处理，获得基于每一个轨迹多模态特征的最终未来轨迹特征。
其中，每一个轨迹多模态特征对应一条轨迹，为了与未来轨迹长度对齐，将每一个轨迹多模态特征重复tpred次，拼接在未来轨迹融合特征序列Trev的后面，得到最终未来轨迹特征T。
在本公开的一些实施方式中，优选地，S160、将未来轨迹融合特征序列中的每个未来轨迹融合特征与至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，还包括：
对每一个最终未来轨迹特征T进行基于自注意力机制(Self-Attention)的处理，获得处理后的最终未来预测轨迹T′，并通过多层感知机获得基于每一个最终未来轨迹特征的最终未来预测轨迹。
即优选地，本公开对最终未来轨迹特征T做基于自注意力机制的处理以加强融合，基于自注意力机制的处理通过以下公式表示：
Figure BDA0003639260960000131
其中，Q、K、V分别表示Query、Key、Value向量，dk是K向量的维度。对最终未来轨迹特征T做Attenetion的表达式为Attention(T,T,T)，其中Q＝K＝V＝T。
本公开中，通过多层感知机获取最终未来预测轨迹：
Figure BDA0003639260960000132
其中，δ表示多层感知机，W1表示多层感知机对应的参数。
对于上述各个实施方式的车辆轨迹预测方法S100，优选地，S170、基于语义地图中的车道线对最终未来预测轨迹进行修正，以获得修正轨迹，图6示出了本公开的一个实施方式的对最终未来预测轨迹进行修正的方法的流程。
本实施方式的对最终未来预测轨迹进行修正的方法，包括：
S171、对于每一条最终未来预测轨迹，获取与其距离最近的车道线；
优选地，对于轨迹
Figure BDA0003639260960000133
在每一时刻t，找到离坐标
Figure BDA0003639260960000134
最近的车道线段
Figure BDA0003639260960000135
得到车道线段序列为
Figure BDA0003639260960000136
S172、对最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；对与最终未来预测轨迹距离最近的车道线进行基于GRU的编码处理，获得车道线编码序列，对车道线编码序列进行位置编码，获得最终车道线编码序列；
优选地，对预测轨迹用GRU进行编码，获得最终未来预测轨迹编码序列即
Figure BDA0003639260960000137
对车道线序列L的每一车道线段用GRU进行编码，得到最终车道线编码序列，如下式所示：
L′＝{GRU(Lt)|t＝tobs+1,...,tobs+tpred)}；
其中，本公开可以从高精地图(电子地图)中获取车道线信息，将车道线切割成固定长度的车道线段，每条车道线段长度为L米，并且离散化为M个点，间隔为d米，选择距离车辆最近的M条车道线段作为距离每一条最终未来预测轨迹最近的车道线。
S173、对最终未来预测轨迹编码序列及最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；
优选地，轨迹作为Query，车道线作为Key和Value，对它们做Multi-headAttention。Mulit-head Attention表达式如下：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO；
headi＝Attention(QWi Q,KWi K,VWi V)；
其中，h表示attention head的数量，Q，K，V分别表示query，key，value向量，Wi Q，Wi K，Wi V，Wi O表示线性映射。经过Mulit-head Attention后得到的轨迹特征为
Figure BDA0003639260960000141
即修正轨迹特征。
S174、基于多层感知机对修正轨迹特征进行解码处理，获得修正轨迹；
优选地，基于以下公式获得修正轨迹：
Figure BDA0003639260960000142
其中，δ表示多层感知机，W3表示多层感知机对应的参数。
图7示出了本公开的一个实施方式的实现本公开的车辆轨迹预测方法的网络模型结构示意图。
参考图7，本公开的用于执行车辆轨迹预测方法的网络模型(即车辆轨迹预测装置)在训练过程中，获取目标车辆的轨迹多模态特征时，生成置信度。
优选地，用多层感知机(MLP)对多模态特征进行解码，得到置信度C。具体地，C＝δ(M；W2)，其中，δ表示多层感知机，W2表示多层感知机对应的参数。
在训练过程中，进一步地，还包括损失函数计算步骤S180，如图8所示。
S181，计算概率损失。首先，对得分Ci做softmax，转化成概率分布Pi，即
Figure BDA0003639260960000143
其中，
Figure BDA0003639260960000144
Ci和Pi分别表示第i条数据生成的K条轨迹对应的置信度和概率分布。
进一步，对每一条预测轨迹和真实轨迹的误差做softmax，公式下所示：
Figure BDA0003639260960000145
Figure BDA0003639260960000146
其中，D(·,·)表示计算预测轨迹的L2损失，取负号是为了使误差小的概率更大。
最后，计算概率分布Pi和期望分布λ(Yi)之间的KL散度，公式如下所示：
Figure BDA0003639260960000147
Figure BDA0003639260960000148
S182、模型的训练过程分为两阶段。第一阶段是固定微调模块，只训练主体部分，此时的轨迹损失为S183。第二阶段是固定主体部分，只训练微调模块，此时的轨迹损失为S184。
S183、计算预测轨迹的多样性损失函数。多样性损失是K条预测轨迹中与真实轨迹的L2损失最小的轨迹的L2损失。此时选用主体部分预测的轨迹
Figure BDA0003639260960000151
来计算多样性损失，公式下所示：
Figure BDA0003639260960000152
S184、此时选用微调模块预测的修正轨迹NY来计算多样性损失，公式如下所示：
Figure BDA0003639260960000153
其中，损失函数包含两个部分，分别是置信度损失和多样性损失函数。总损失表达式如下式式所示：
Loss＝σ1Lreg+σ2Lconf
其中{σ1,σ2}是权重参数。
本公开还提供一种车辆轨迹预测装置，根据本公开的一个实施方式的车辆轨迹预测装置1000，包括：
第一未来轨迹特征序列获取模块1002，第一未来轨迹特征序列获取模块1002基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
特征图获取模块1004，特征图获取模块1004基于以目标车辆为中心的语义地图获取目标车辆的观测图像特征以生成特征图；
第二未来轨迹特征序列获取模块1006，第二未来轨迹特征序列获取模块1006基于特征图获取目标车辆的第二未来轨迹特征序列；
轨迹多模态特征获取模块1008，轨迹多模态特征获取模块1008基于特征图获取目标车辆的至少一个轨迹多模态特征；
第一反转处理模块1010，第一反转处理模块1010将第一未来轨迹特征序列进行序列反转，获得第一未来反转轨迹特征序列；
第二反转处理模块1012，第二反转处理模块1012将第二未来轨迹特征序列进行序列反转，获得第二未来反转轨迹特征序列；
第一融合处理模块1014，第一融合处理模块1014将第一未来反转轨迹特征序列和第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
第二融合处理模块1016，第二融合处理模块1016将未来轨迹融合特征序列中的每个未来轨迹融合特征与至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征；
最终未来预测轨迹生成模块1018，最终未来预测轨迹生成模块1018基于最终未来轨迹特征生成至少一个最终未来预测轨迹。
本公开的车辆轨迹预测装置可以基于计算机软件程序架构实现，也可以采用处理***的硬件实现方式来实现本公开的车辆轨迹预测装置，参考图9。
根据本公开的优选实施方式，参考图10，本公开的车辆轨迹预测装置1000还包括：
修正模块1020，修正模块1020基于语义地图中的车道线对最终未来预测轨迹进行修正，以获得修正轨迹。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，第一未来轨迹特征序列获取模块1002包括：
嵌入处理及位置编码处理模块，嵌入处理及位置编码处理模块对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
第一Transformer模型编码器，第一Transformer模型编码器对预编码特征进行编码处理，获得第一特征向量；
第一Transformer模型解码器，第一Transformer模型解码器对第一特征向量进行解码处理，获得第一未来轨迹特征序列。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，特征图获取模块1004包括：
基于CNN的骨干网络(backbone)模块，基于CNN的骨干网络(backbone)模块对语义地图进行特征提取获取目标车辆的观测图像特征以生成特征图。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，第二未来轨迹特征序列获取模块1006包括：
特征图分割模块，特征图分割模块将特征图分割为多个特征子图，获得特征子图序列；
位置编码处理模块，位置编码处理模块对特征子图序列进行位置编码处理，获得预编码特征；
第二Transformer模型编码器，第二Transformer模型编码器对预编码特征进行编码处理，获得第二特征向量；
第二Transformer模型解码器，第二Transformer模型解码器对第二特征向量进行解码处理，获得第二未来轨迹特征序列。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，轨迹多模态特征获取模块1008包括：
第三Transformer模型解码器，第三Transformer模型解码器对第二特征向量进行解码处理，获得目标车辆的至少一个轨迹多模态特征。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，最终未来预测轨迹生成模块1018包括：自注意力机制模块及多层感知机模块；
将每一个最终未来轨迹特征输入至自注意力机制(Self-Attention)模块进行处理，自注意力机制模块的输出作为多层感知机模块的输入，经多层感知机的处理获得基于每一个最终未来轨迹特征的最终未来预测轨迹。
在本公开的一些实施方式中，本公开的车辆轨迹预测装置1000，优选地，修正模块1020包括：
车道线获取模块，车道线获取模块从语义地图中获取每一条最终未来预测轨迹的最近距离的车道线；
第一GRU模块，第一GRU模块对最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；
第二GRU模块，第二GRU模块对每一条最终未来预测轨迹的最近距离的车道线进行基于GRU的编码处理，获得车道线编码序列；
位置编码模块，位置编码模块对车道线编码序列进行位置编码，获得最终车道线编码序列；
多头注意力机制模块，多头注意力机制模块对最终未来预测轨迹编码序列及最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；
多层感知机模块，多层感知机模块对修正轨迹特征进行解码处理，获得修正轨迹。
由上文对本公开的车辆轨迹预测方法/装置的描述可知，本公开基于Detr改进的Transformer，即Transformer解码器用可学习的参数初始化，并且一次性解码出所有对象。针对多模态输入融合效果差的问题，采用高精地图和历史轨迹分别预测未来轨迹，再进行融合。同时，为了将终点的约束引入到Transformer模型当中，对解码器生成的序列进行反转，反转序列之后，就意味着从终点往前预测。针对轨迹多模态可解释性差的问题，本公开采用基于Transformer的多模态生成器，使不同的模态关注语义地图上不同的区域，基于不同的模态生成轨迹。针对轨迹不满足车道线的约束，本公开设置了微调模块，使用注意力机制将预测的轨迹修正到最近的车道线上。
本公开的车辆轨迹预测方法/装置，采用高精地图和历史轨迹分别预测未来轨迹，再进行融合，提高了多模态融合的效果，通过对Transformer预测出的轨迹进行反转，间接地将终点的约束引入到Transformer当中，提高了预测的精度，采用基于Transformer的多模态生成器(第三Transformer结构的解码器)，使不同的模态关注地图上不同的区域，增加多模态的可解释性和预测的精度，通过设置通用的微调模块，利用注意力机制将轨迹修正到最近的车道线上，增加了车道线对轨迹的约束。
本公开的车辆轨迹预测装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
本公开还提供一种电子设备，包括：存储器，存储器存储执行指令；以及处理器，处理器执行存储器存储的执行指令，使得处理器执行本公开的任一个实施方式的车辆轨迹预测方法S100。
本公开还提供一种可读存储介质，可读存储介质中存储有执行指令，执行指令被处理器执行时用于实现本公开的任一个实施方式的车辆轨迹预测方法S100。
本公开还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现本公开的任一个实施方式的车辆轨迹预测方法S100。
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种车辆轨迹预测方法，其特征在于，包括：
S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；
S130、基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；
S140、将所述第一未来轨迹特征序列和所述第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；
S150、将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；以及
S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹。
2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，还包括：
S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹。
3.根据权利要求1或2所述的车辆轨迹预测方法，其特征在于，S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列，包括：
S111、对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
S112、使用第一Transformer模型的编码器对所述预编码特征进行编码处理，获得第一特征向量；以及
S113、使用第一Transformer模型的解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列。
4.根据权利要求1或2所述的车辆轨迹预测方法，其特征在于，S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图，包括：
使用基于CNN的骨干网络对语义地图进行特征提取获取所述目标车辆的观测图像特征以生成特征图。
5.根据权利要求4所述的车辆轨迹预测方法，其特征在于，S130中，基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，包括：
S131、将所述特征图分割为多个特征子图，获得特征子图序列；
S132、对所述特征子图序列进行位置编码处理，获得预编码特征；
S133、使用第二Transformer模型的编码器对预编码特征进行编码处理，获得第二特征向量；以及
S134、使用第二Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述第二未来轨迹特征序列。
6.根据权利要求5所述的车辆轨迹预测方法，其特征在于，S130中，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征，包括：
S135、使用第三Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述目标车辆的至少一个轨迹多模态特征；
优选地，所述第一Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器；
优选地，所述第二Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器；
优选地，所述第三Transformer模型的解码器为经过可学习的嵌入初始化并进行了多模态特征学习的解码器；
优选地，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，包括：
将每一个轨迹多模态特征与所述未来轨迹融合特征序列中的每个未来轨迹融合特征进行拼接处理，获得基于每一个轨迹多模态特征的最终未来轨迹特征；
优选地，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，还包括：
对每一个最终未来轨迹特征进行基于自注意力机制(Self-Attention)的处理，并通过多层感知机获得基于每一个最终未来轨迹特征的最终未来预测轨迹；
优选地，S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹，包括：
S171、对于每一条最终未来预测轨迹，获取与其距离最近的车道线；
S172、对最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；对与所述最终未来预测轨迹距离最近的车道线进行基于GRU的编码处理，获得车道线编码序列，对车道线编码序列进行位置编码，获得最终车道线编码序列；
S173、对所述最终未来预测轨迹编码序列及所述最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；以及
S174、基于多层感知机对所述修正轨迹特征进行解码处理，获得所述修正轨迹。
7.一种车辆轨迹预测装置，其特征在于，包括：
第一未来轨迹特征序列获取模块，所述第一未来轨迹特征序列获取模块基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
特征图获取模块，所述特征图获取模块基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；
第二未来轨迹特征序列获取模块，所述第二未来轨迹特征序列获取模块基于所述特征图获取所述目标车辆的第二未来轨迹特征序列；
轨迹多模态特征获取模块，所述轨迹多模态特征获取模块基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；
第一反转处理模块，所述第一反转处理模块将所述第一未来轨迹特征序列进行序列反转，获得第一未来反转轨迹特征序列；
第二反转处理模块，所述第二反转处理模块将所述第二未来轨迹特征序列进行序列反转，获得第二未来反转轨迹特征序列；
第一融合处理模块，所述第一融合处理模块将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
第二融合处理模块，所述第二融合处理模块将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征；以及
最终未来预测轨迹生成模块，所述最终未来预测轨迹生成模块基于所述最终未来轨迹特征生成至少一个最终未来预测轨迹；
优选地，还包括：
修正模块，所述修正模块基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹；
优选地，所述第一未来轨迹特征序列获取模块包括：
嵌入处理及位置编码处理模块，所述嵌入处理及位置编码处理模块对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
第一Transformer模型编码器，所述第一Transformer模型编码器对所述预编码特征进行编码处理，获得第一特征向量；以及
第一Transformer模型解码器，所述第一Transformer模型解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列；
优选地，所述特征图获取模块包括：
基于CNN的骨干网络(backbone)模块，所述基于CNN的骨干网络(backbone)模块对语义地图进行特征提取获取所述目标车辆的观测图像特征以生成特征图；
优选地，所述第二未来轨迹特征序列获取模块包括：
特征图分割模块，所述特征图分割模块将所述特征图分割为多个特征子图，获得特征子图序列；
位置编码处理模块，所述位置编码处理模块对所述特征子图序列进行位置编码处理，获得预编码特征；
第二Transformer模型编码器，所述第二Transformer模型编码器对所述预编码特征进行编码处理，获得第二特征向量；以及
第二Transformer模型解码器，所述第二Transformer模型解码器对所述第二特征向量进行解码处理，获得所述第二未来轨迹特征序列；
优选地，所述轨迹多模态特征获取模块包括：
第三Transformer模型解码器，所述第三Transformer模型解码器对所述第二特征向量进行解码处理，获得所述目标车辆的至少一个轨迹多模态特征；
优选地，所述最终未来预测轨迹生成模块包括：自注意力机制模块及多层感知机模块；
将每一个最终未来轨迹特征输入至所述自注意力机制(Self-Attention)模块进行处理，所述自注意力机制模块的输出作为所述多层感知机模块的输入，经所述多层感知机的处理获得基于每一个最终未来轨迹特征的最终未来预测轨迹；
优选地，所述修正模块包括：
车道线获取模块，所述车道线获取模块从语义地图中获取每一条最终未来预测轨迹的最近距离的车道线；
第一GRU模块，所述第一GRU模块对所述最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；
第二GRU模块，所述第二GRU模块对每一条最终未来预测轨迹的最近距离的车道线进行基于GRU的编码处理，获得车道线编码序列；
位置编码模块，所述位置编码模块对所述车道线编码序列进行位置编码，获得最终车道线编码序列；
多头注意力机制模块，所述多头注意力机制模块对所述最终未来预测轨迹编码序列及所述最终车道线编码序列进行基于多头注意力机制(Multi-head Attention)的处理，获得修正轨迹特征；以及
多层感知机模块，所述多层感知机模块对所述修正轨迹特征进行解码处理，获得所述修正轨迹。
8.一种电子设备，其特征在于，包括：
存储器，所述存储器存储执行指令；以及
处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至6中任一项所述的车辆轨迹预测方法。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至6中任一项所述的车辆轨迹预测方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述的车辆轨迹预测方法。
CN202210515263.0A 2022-05-11 2022-05-11 车辆轨迹预测方法、装置、电子设备及存储介质 Pending CN114742317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515263.0A CN114742317A (zh) 2022-05-11 2022-05-11 车辆轨迹预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515263.0A CN114742317A (zh) 2022-05-11 2022-05-11 车辆轨迹预测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114742317A true CN114742317A (zh) 2022-07-12

Family

ID=82285580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515263.0A Pending CN114742317A (zh) 2022-05-11 2022-05-11 车辆轨迹预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114742317A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306790A (zh) * 2023-01-16 2023-06-23 西安电子科技大学 一种基于cnn-gru和注意力机制的近海船舶轨迹实时预测方法、***、设备及介质
CN117132002A (zh) * 2023-10-26 2023-11-28 深圳前海中电慧安科技有限公司 一种多模态时空轨迹预测方法、装置、设备和介质
CN118193992A (zh) * 2024-05-20 2024-06-14 山东科技大学 一种基于Transformer的多模态轨迹预测方法、***及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306790A (zh) * 2023-01-16 2023-06-23 西安电子科技大学 一种基于cnn-gru和注意力机制的近海船舶轨迹实时预测方法、***、设备及介质
CN116306790B (zh) * 2023-01-16 2024-05-28 西安电子科技大学 一种基于cnn-gru和注意力机制的近海船舶轨迹实时预测方法、***、设备及介质
CN117132002A (zh) * 2023-10-26 2023-11-28 深圳前海中电慧安科技有限公司 一种多模态时空轨迹预测方法、装置、设备和介质
CN118193992A (zh) * 2024-05-20 2024-06-14 山东科技大学 一种基于Transformer的多模态轨迹预测方法、***及设备

Similar Documents

Publication Publication Date Title
CN114742317A (zh) 车辆轨迹预测方法、装置、电子设备及存储介质
CN112166304B (zh) 传感器数据的误差检测
Lee et al. Convolution neural network-based lane change intention prediction of surrounding vehicles for ACC
US11465633B2 (en) Method and system for generating predicted occupancy grid maps
Kamenev et al. Predictionnet: Real-time joint probabilistic traffic prediction for planning, control, and simulation
US10839524B2 (en) Systems and methods for applying maps to improve object tracking, lane-assignment and classification
US11827214B2 (en) Machine-learning based system for path and/or motion planning and method of training the same
CN114399743B (zh) 一种障碍物未来轨迹的生成方法
CN114787739A (zh) 使用向量化输入的智能体轨迹预测
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
US20220250646A1 (en) Route-relative trajectory numerical integrator and controller using the same
CN113071524B (zh) 决策控制方法、装置、自动驾驶车辆及存储介质
WO2020000191A1 (en) Method for driver identification based on car following modeling
US20230177241A1 (en) Method for determining similar scenarios, training method, and training controller
EP3705367A1 (en) Training a generator unit and a discriminator unit for collision-aware trajectory prediction
CN114898550A (zh) 一种行人轨迹预测方法和***
CN115439339A (zh) 图像矫正
KR102552719B1 (ko) 주행경로 자동생성방법 및 장치
CN113888601B (zh) 目标轨迹预测方法、电子设备及存储介质
US20210398014A1 (en) Reinforcement learning based control of imitative policies for autonomous driving
CN116448134B (zh) 基于风险场与不确定分析的车辆路径规划方法及装置
CN114842313B (zh) 基于伪点云的目标检测方法、装置、电子设备和存储介质
CN118235179A (zh) 轨迹预测方法和车辆自动运行方法
Yang et al. Deep Reinforcement Learning Lane-Changing Decision Algorithm for Intelligent Vehicles Combining LSTM Trajectory Prediction
CN113902776B (zh) 目标行人轨迹预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination