CN117493424A - 一种不依赖地图信息的车辆轨迹预测方法 - Google Patents

一种不依赖地图信息的车辆轨迹预测方法 Download PDF

Info

Publication number
CN117493424A
CN117493424A CN202410005329.0A CN202410005329A CN117493424A CN 117493424 A CN117493424 A CN 117493424A CN 202410005329 A CN202410005329 A CN 202410005329A CN 117493424 A CN117493424 A CN 117493424A
Authority
CN
China
Prior art keywords
vehicle
matrix
weight
attention
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410005329.0A
Other languages
English (en)
Other versions
CN117493424B (zh
Inventor
张细政
侯英俊
卢张宇
曹旭
刘若源
金圣炜
王清
何海华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Institute of Engineering
Original Assignee
Hunan Institute of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Institute of Engineering filed Critical Hunan Institute of Engineering
Priority to CN202410005329.0A priority Critical patent/CN117493424B/zh
Publication of CN117493424A publication Critical patent/CN117493424A/zh
Application granted granted Critical
Publication of CN117493424B publication Critical patent/CN117493424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体为一种不依赖地图信息的车辆轨迹预测方法，包括：1、构建车辆轨迹数据库，并拆分成训练集、验证集；2、构建车辆轨迹预测模型，包括依次连接的编码器、交互模块和解码器；3、从训练集中选取一张场景图像并输入到车辆轨迹预测模型中，最终得到车辆轨迹预测模型的输出结果；4、利用训练集和验证集对车辆轨迹预测模型进行训练，训练后得到最终的车辆轨迹预测模型；5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测。本发明不依赖于地图信息，能够有效的利用边缘特征，并且与多头自注意相结合，从而有效的获取车辆之间的交互关系，能够在地图信息不可靠的情况下极大程度的正确预测未来轨迹。

Description

一种不依赖地图信息的车辆轨迹预测方法
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种不依赖地图信息的车辆轨迹预测方法。
背景技术
车辆轨迹预测是自动驾驶中非常重要的部分，它可以帮助自动驾驶车辆在复杂交通路段行驶中提前发现可能会产生的事故，从而进行避让来正常行驶。自动驾驶汽车需要了解周围的环境，并预测道路上的未来情况。然而，准确预测附近交通参与者的未来运动具有挑战性，如车辆、自行车和行人，其目标或意图可能是未知的。基于机器学习的预测模型在过去已经表现了强大的性能，同时随着深度学习的快速发展，车辆轨迹预测也取得了更为显著的突破。但是这些车辆预测模型大多有一个先决条件：它们的架构设计和相应的训练过程大多是为整合地图信息而设计的，最依赖的信息往往来自于底层的高精度地图。然而，在现实中的很多情况下由于定位失败，地图信息并不一定总是可靠的。这说明了需要建立无地图的高性能预测模型，以实现在不依赖地图信息下，对车辆的轨迹进行高准确性的预测。
发明内容
本发明提供了一种不依赖地图信息的车辆轨迹预测方法，以解决现有车辆轨迹预测需要依赖高精度地图，在定位失败等不可靠的情况下，会造成无法正常进行轨迹预测的技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种不依赖地图信息的车辆轨迹预测方法，包括如下步骤：
S1、构建有车辆轨迹数据的用于深度学习的车辆轨迹数据库，并将车辆轨迹数据库拆分成训练集、验证集；
S2、构建不依赖地图信息的车辆轨迹预测模型，其中车辆轨迹预测模型包括依次连接的编码器、交互模块和解码器；
S3、从训练集中选取一张场景图像并输入到编码器中，并将编码器的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵；利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到节点更新权重矩阵A；将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果/>；
S4、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型；
S5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测，以完成模型性能评估。
进一步地，所述S1具体包括如下：
S11、获取目标车辆所在场景中的场景车辆的历史轨迹序列，每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息，场景车辆包括目标车辆及其周围的相邻车辆；
S12、将场景中的历史轨迹序列信息用2D坐标进行处理，得到用于深度学习的车辆轨迹数据库；
S13、将车辆轨迹数据库拆分成训练集、验证集。
进一步地，所述S2中的编码器包括多个独立设置的用于对每个场景车辆的信息进行编码的Transformer时间编码器；
交互模块包括相互连接的图卷积神经网络和自注意力机制；图卷积神经网络用于对特征进行提取和处理；
解码器由多个独立设置的残差网络解码器。
进一步地，所述编码器中的Transformer时间编码器的权重共享。
进一步地，所述S3具体包括如下步骤：
S31、从训练集中选取一张场景图像并输入到编码器中，编码器将场景图像中的场景车辆i过去的二维坐标数据表示为一系列离散位移，，/>，其中表示场景车辆i的2D坐标，即/>；t表示时间步长；/>为二进制标记，表示在时间步长t=1时，观察到的场景车辆i是否有发生位移；利用编码器中的Transformer时间编码器对场景车辆i中的时间信息进行编码，得到多个场景车辆i的输入向量，即Transformer时间编码器的输入向量E；
将每个场景车辆i的输入向量E分别与不同的Transformer时间编码器的查询权重矩阵、键权重矩阵/>、值权重矩阵/>相乘即可得到每辆车嵌入数据的查询矩阵/>、键矩阵/>和值矩阵/>；
；
；
；
其中，，/>，/>，/>为数据维度，/>为键矩阵/>的维度；/>为值矩阵/>的维度；
对每个场景车辆嵌入数据的查询矩阵、键矩阵/>和值矩阵/>进行拼接，并与线性连接映射权重层/>相乘，得到编码器中多头注意力的输出；
S32、将编码器中多头注意力的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵，节点特征嵌入矩阵/>的每一行都是每个节点的特征嵌入向量/>，节点即场景车辆i；
S33、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A；
S34、将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果；
输出解码器不是直接预测全局坐标系中的二维坐标，而是预测车辆i在其t = 0处的二维坐标的相对位置差异，采用公式表示，具体如下：
；
表示第i辆车在t时间步时的预测输出，/>表示第i辆车在t时间步时在全局坐标系下的绝对二维坐标；
在形式上，输出解码器被定义为：
；
其中，、/>分别为残差网络的第一层权重和第二层权重；/>、/>分别为残差网络的第一偏置和第二偏置，/>、/>分别为解码层的权重和偏置。
进一步地，所述S31采用公式表示，具体如下：
；
；
；
其中，i为多头注意力机制中的注意力头编号，为查询矩阵/>的列数，concat表示将不同注意力头的输出矩阵拼接在一起，/>为线性连接映射权重层，/>是多头注意力机制中注意力头的数量，/>为键矩阵的转置。
进一步地，所述S32采用公式表示，具体如下：
；
其中，表示第i个节点第g+1层的嵌入，g表示图卷积神经网络的第g层，且g=0,1,2…Lg-1；其中Lg为图卷积神经网络的总层数；/>表示点乘；
其中，对应节点特征和边缘特征的嵌入连接，满足公式：/>，表示第i个节点嵌入特征与第j个节点嵌入特征以及边ij的嵌入连接在一起，其中/>表示在t = 0处从车辆i到车辆j的距离，/>表示第j个节点第g层的嵌入；/>是sigmoid函数和/>是softplus函数；
、/>分别表示第g层的卷积权重矩阵和偏置；/>、/>分别表示第g层的自适应权重矩阵和偏置。
进一步地，所述S33具体包括如下步骤：
S331、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新，以使当前场景车辆i更加注意周围的特定场景车辆；
具体的，自注意力机制中的每个注意力定义为：
；
其中，表示自注意力机制中注意力头的数量，且/>；/>、/>、/>都是节点特征嵌入矩阵/>在第i个注意力头上的线性映射；/>是与每个注意力头的嵌入尺寸相对应的归一化因子；softmax函数的结果是当前注意力头输出的特征嵌入注意力权重矩阵，有/>，表示所有车辆之间对其他车辆的影响权重；
S332、将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A，采用公式表示，具体为：
；
；
其中，为偏置矩阵；节点更新权重矩阵A的每一行都表示了对应场景车辆旁的其他车辆对当该场景车辆的影响多注意力权重，节点更新权重矩阵A是一个/>的矩阵。
进一步地，所述S4具体包括如下步骤：
S41、设置车辆轨迹预测模型的训练参数；其中包括车辆轨迹预测模型的迭代次数、训练的学习率；
S42、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，或者损失值小于设定阈值；
S43、利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型。
进一步地，所述S41具体为：
使用Adam优化器对车辆轨迹预测模型进行72轮次训练，批次大小为32，重量衰减为；前36轮次仅用一个解码器端到端训练车辆轨迹预测模型；在第36轮次后，学习速率从/>衰减到/>。
本发明的有益效果：
本发明通过针对于在轨迹预测中地图信息不可靠的情况，提出基于Transformer的不依赖地图信息的车辆轨迹预测方法。该方法将处理后的数据输入到不同的Transformer时间编码器中对每个场景中车辆的时间信息进行编码，使用图卷积神经网络与注意力机制相结合的方式来有效的获取车辆间的交互关系（即节点更新权重矩阵A），最后使用多个平行的线性残差层（即残差网络解码器）来完成轨迹预测。该方法不依赖于地图信息，能够有效的利用边缘特征，并且与多头自注意相结合，从而有效的获取车辆之间的交互关系，能够在地图信息不可靠的情况下极大程度的正确预测未来轨迹。
附图说明
图1为本发明的流程图；
图2为本发明中S1的流程图；
图3为本发明中S4的流程图；
图4为本明中车辆轨迹预测模型的结构图；
图5为车辆轨迹预测模型在不同路况六次预测的结果图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以通过许多其他不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
还需说明的是，本申请实施例中以同一附图标记表示同一组成部分或同一零部件，对于本申请实施例中相同的零部件，图中可能仅以其中一个零件或部件为例标注了附图标记，应理解的是，对于其他相同的零件或部件，附图标记同样适用。
参照图1，本申请实施例提供了一种不依赖地图信息的车辆轨迹预测方法，包括如下步骤：
S1、构建有车辆轨迹数据的用于深度学习的车辆轨迹数据库，并将车辆轨迹数据库拆分成训练集、验证集；
S2、构建不依赖地图信息的车辆轨迹预测模型，其中车辆轨迹预测模型包括依次连接的编码器、交互模块和解码器；
S3、从训练集中选取一张场景图像并输入到编码器中，并将编码器的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵；利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到节点更新权重矩阵A；将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果/>；
S4、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型；
S5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测，以完成模型性能评估。
本发明从最小平均距离误差（minADE）、最小最终距离误差（minFDE）和错过率（MR）等评价指标对车辆轨迹预测模型进行评估。
本发明通过针对于在轨迹预测中地图信息不可靠的情况，提出基于Transformer的不依赖地图信息的车辆轨迹预测方法。该方法将处理后的数据输入到不同的Transformer时间编码器中对每个场景中车辆的时间信息进行编码，使用图卷积神经网络与注意力机制相结合的方式来有效的获取车辆间的交互关系（即节点更新权重矩阵A），最后使用多个平行的线性残差层（即残差网络解码器）来完成轨迹预测。该方法不依赖于地图信息，能够有效的利用边缘特征，并且与多头自注意相结合，从而有效的获取车辆之间的交互关系，能够在地图信息不可靠的情况下极大程度的正确预测未来轨迹。
在一些实施例中，所述S1具体包括如下：
S11、获取目标车辆所在场景中的场景车辆的历史轨迹序列，每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息，场景车辆包括目标车辆及其周围的相邻车辆；
S12、将场景中的历史轨迹序列信息用2D坐标进行处理，得到用于深度学习的车辆轨迹数据库；
具体的，轨迹预测的目标是根据目标场景车辆及其周围场景车辆的状态特征，预测目标场景车辆未来的多个可能的轨迹。在有N个场景车辆的场景中，状态特征定义为：，其中/>表示历史的范围。在每个时间步长t处，车辆i用2D坐标/>表示。基于该场景中的可用特征，多模态轨迹预测任务可以表示为预测/>以/>为预测的时间范围，以/>；
S13、将车辆轨迹数据库拆分成训练集、验证集。
在一些实施例中，所述S2中的编码器包括多个独立设置的用于对每个场景车辆的信息进行编码的Transformer时间编码器；
交互模块包括相互连接的图卷积神经网络和自注意力机制；图卷积神经网络用于对特征进行提取和处理；
解码器由多个独立设置的残差网络解码器。
在一些实施例中，所述编码器中的Transformer时间编码器的权重共享。
在一些实施例中，所述S3具体包括如下步骤：
S31、从训练集中选取一张场景图像并输入到编码器中，编码器将场景图像中的场景车辆i过去的二维坐标数据表示为一系列离散位移，，/>，其中表示场景车辆i的2D坐标，即/>；t表示时间步长；/>为二进制标记，表示在时间步长t=1时，观察到的场景车辆i是否有发生位移；利用编码器中的Transformer时间编码器对场景车辆i中的时间信息进行编码，得到多个场景车辆i的输入向量，即Transformer时间编码器的输入向量E；
具体的，将每个场景车辆i的离散位移进行集合，得到输入序列集合，对于输入序列集合有：
；
为了让Transformer时间编码器能够更好的处理序列数据，使用不同频率的正弦和余弦函数计算位置编码：
；
；
其中，表示/>的第2i个特征，/>表示时间步t的位置编码，/>为数据维度，数据i（即场景车辆i对应的数据）表示所有维度中的第i个数据。
在经过位置编码后，将其与位置嵌入相加得到多辆车的输入向量，即Transformer时间编码器的输入向量E，；/>表示时间步长t时刻第N辆场景车辆的输入向量；
将每辆车的输入向量分别与不同Transformer时间编码器的查询权重矩阵、键权重矩阵/>、值权重矩阵/>相乘即可得到每辆车嵌入数据的查询矩阵/>、键矩阵/>和值矩阵/>。
；
；
；
其中，，/>，/>，在本文中k=4,，/>为键矩阵/>的维度；/>为值矩阵/>的维度；
那么对于每个Transformer时间编码器，我们有其输出为：
；
对每个场景车辆嵌入数据的查询矩阵、键矩阵/>和值矩阵/>进行拼接，并与线性连接映射权重层/>相乘，得到编码器中多头注意力的输出；
所述S31采用公式表示，具体如下：
；
；
；
其中，i为多头注意力机制中的注意力头编号，为查询矩阵/>的列数，concat表示将不同注意力头的输出矩阵拼接在一起，/>为线性连接映射权重层，/>是多头注意力机制中注意力头的数量，优选的/>，/>为键矩阵的转置。
S32、将编码器中多头注意力的输出输入到图卷积神经网络（即双向全连通交互图）中，得到节点特征嵌入矩阵，节点特征嵌入矩阵/>的每一行都是每个节点的特征嵌入向量/>，节点即场景车辆i；
具体的，对每个车辆的过去状态进行编码之后，构建一个双向全连通交互图，以作为初始节点特征，即第0层的节点嵌入。此外，还使用了边缘特征：从节点i到节点j的边得到特征向量，它对应于在t = 0处从车辆i到车辆j的距离；/>。对于图卷积操作，定义为：
；
其中，表示第i个节点第g+1层的嵌入，g表示图卷积神经网络的第g层，且g=0,1,2…Lg-1；其中Lg为图卷积神经网络的总层数；/>表示点乘；
其中，对应节点特征和边缘特征的嵌入连接，满足公式：；表示第i个节点嵌入特征与第j个节点嵌入特征以及边ij的嵌入连接在一起，其中/>表示在t = 0处从车辆i到车辆j的距离，/>表示第j个节点第g层的嵌入；/>是sigmoid函数的简写和/>是softplus函数的简写；
、/>分别表示第g层的卷积权重矩阵和偏置；/>、/>分别表示第g层的自适应权重矩阵和偏置。
本卷积操作专门设计用于合并边特征，在车辆轨迹预测任务中允许图卷积神经网络根据车辆之间的距离额外更新节点特征。图中每一个节点特征嵌入就包含了当前车辆轨迹信息以及当前场景下所有其他车辆对其的影响。
S33、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A；
具体的，所述S33具体包括如下步骤：
S331、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新，以使当前场景车辆i更加注意周围的特定场景车辆；
具体的，自注意力机制中的每个注意力定义为：
；
其中，表示自注意力机制中注意力头的数量，且/>；/>、/>、/>都是节点特征嵌入矩阵/>在第i个注意力头上的线性映射；/>是与每个注意力头的嵌入尺寸相对应的归一化因子；softmax函数的结果是当前注意力头输出的特征嵌入注意力权重矩阵，有/>，表示所有车辆之间对其他车辆的影响权重；
S332、将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A，采用公式表示，具体为：
；
；
其中，为偏置矩阵；节点更新权重矩阵A的每一行都表示了对应场景车辆旁的其他车辆对当该场景车辆的影响多注意力权重，节点更新权重矩阵A是一个/>的矩阵。
S34、将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果；
输出解码器不是直接预测全局坐标系中的二维坐标，而是预测车辆i在其t = 0处的二维坐标的相对位置差异，采用公式表示，具体如下：
；
表示第i辆车在t时间步时的预测输出，/>表示第i辆车在t时间步时在全局坐标系下的绝对二维坐标。
多模态是并行使用这些解码器中的k个来获得的。在形式上，输出解码器被定义为：
；
其中，、/>分别为残差网络的第一层权重和第二层权重；/>、/>分别为残差网络的第一偏置和第二偏置，/>、/>分别为解码层的权重和偏置，/>表示节点更新权重矩阵A第ai行；
在一些实施例中，所述S4具体包括如下步骤：
S41、设置车辆轨迹预测模型的训练参数；其中包括车辆轨迹预测模型的迭代次数、训练的学习率；
S42、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，或者损失值小于设定阈值；
S43、利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型。
在一些实施例中，所述S41具体为：
使用Adam优化器对车辆轨迹预测模型进行72轮次训练，批次大小为32，重量衰减为；前36轮次仅用一个解码器端到端训练车辆轨迹预测模型；在第36轮次后，学习速率从/>衰减到/>。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种不依赖地图信息的车辆轨迹预测方法，其特征在于，包括如下步骤：
S1、构建有车辆轨迹数据的用于深度学习的车辆轨迹数据库，并将车辆轨迹数据库拆分成训练集、验证集；
S2、构建不依赖地图信息的车辆轨迹预测模型，其中车辆轨迹预测模型包括依次连接的编码器、交互模块和解码器；
S3、从训练集中选取一张场景图像并输入到编码器中，并将编码器的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵；利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到节点更新权重矩阵A；将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果；
S4、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型；
S5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测，以完成模型性能评估。
2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述S1具体包括如下：
S11、获取目标车辆所在场景中的场景车辆的历史轨迹序列，每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息，场景车辆包括目标车辆及其周围的相邻车辆；
S12、将场景中的历史轨迹序列信息用2D坐标进行处理，得到用于深度学习的车辆轨迹数据库；
S13、将车辆轨迹数据库拆分成训练集、验证集。
3.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述S2中的编码器包括多个独立设置的用于对每个场景车辆的信息进行编码的Transformer时间编码器；
交互模块包括相互连接的图卷积神经网络和自注意力机制；图卷积神经网络用于对特征进行提取和处理；
解码器由多个独立设置的残差网络解码器。
4.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述编码器中的Transformer时间编码器的权重共享。
5.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述S3具体包括如下步骤：
S31、从训练集中选取一张场景图像并输入到编码器中，编码器将场景图像中的场景车辆i过去的二维坐标数据表示为一系列离散位移，，/>，其中/>表示场景车辆i的2D坐标，即/>；t表示时间步长；/>为二进制标记，表示在时间步长t=1时，观察到的场景车辆i是否有发生位移；利用编码器中的Transformer时间编码器对场景车辆i中的时间信息进行编码，得到多个场景车辆i的输入向量，即Transformer时间编码器的输入向量E；
将每个场景车辆i的输入向量E分别与不同的Transformer时间编码器的查询权重矩阵、键权重矩阵/>、值权重矩阵/>相乘即可得到每辆车嵌入数据的查询矩阵/>、键矩阵/>和值矩阵/>；
；
；
；
其中，，/>，/>，/>为数据维度，/>为键矩阵/>的维度；/>为值矩阵/>的维度；
对每个场景车辆嵌入数据的查询矩阵、键矩阵/>和值矩阵/>进行拼接，并与线性连接映射权重层/>相乘，得到编码器中多头注意力的输出；
S32、将编码器中多头注意力的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵，节点特征嵌入矩阵/>的每一行都是每个节点的特征嵌入向量/>，节点即场景车辆i；
S33、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新；将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A；
S34、将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果；
输出解码器不是直接预测全局坐标系中的二维坐标，而是预测车辆i在其t = 0处的二维坐标的相对位置差异，采用公式表示，具体如下：
；
表示第i辆车在t时间步时的预测输出，/>表示第i辆车在t时间步时在全局坐标系下的绝对二维坐标；
在形式上，输出解码器被定义为：
；
其中，、/>分别为残差网络的第一层权重和第二层权重；/>、/>分别为残差网络的第一偏置和第二偏置，/>、/>分别为解码层的权重和偏置。
6.根据权利要求5所述的车辆轨迹预测方法，其特征在于，所述S31采用公式表示，具体如下：
；
；
；
其中，i为多头注意力机制中的注意力头编号，为查询矩阵/>的列数，concat表示将不同注意力头的输出矩阵拼接在一起，/>为线性连接映射权重层，/>是多头注意力机制中注意力头的数量，/>为键矩阵的转置。
7.根据权利要求6所述的车辆轨迹预测方法，其特征在于，所述S32采用公式表示，具体如下：
；
其中，表示第i个节点第g+1层的嵌入，g表示图卷积神经网络的第g层，且g=0,1,2…Lg-1；其中Lg为图卷积神经网络的总层数；/>表示点乘；
其中，对应节点特征和边缘特征的嵌入连接，满足公式：/>，表示第i个节点嵌入特征与第j个节点嵌入特征以及边ij的嵌入连接在一起，其中/>表示在t= 0处从车辆i到车辆j的距离，/>表示第j个节点第g层的嵌入；/>是sigmoid函数和/>是softplus函数；
、/>分别表示第g层的卷积权重矩阵和偏置；/>、/>分别表示第g层的自适应权重矩阵和偏置。
8.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述S33具体包括如下步骤：
S331、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵进行更新，以使当前场景车辆i更加注意周围的特定场景车辆；
具体的，自注意力机制中的每个注意力定义为：
；
其中，表示自注意力机制中注意力头的数量，且/>；/>、/>、/>都是节点特征嵌入矩阵/>在第i个注意力头上的线性映射；/>是与每个注意力头的嵌入尺寸相对应的归一化因子；softmax函数的结果是当前注意力头输出的特征嵌入注意力权重矩阵，有，表示所有车辆之间对其他车辆的影响权重；
S332、将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A，采用公式表示，具体为：
；
；
其中，为偏置矩阵；节点更新权重矩阵A的每一行都表示了对应场景车辆旁的其他车辆对当该场景车辆的影响多注意力权重，节点更新权重矩阵A是一个/>的矩阵。
9.根据权利要求8所述的车辆轨迹预测方法，其特征在于，所述S4具体包括如下步骤：
S41、设置车辆轨迹预测模型的训练参数；其中包括车辆轨迹预测模型的迭代次数、训练的学习率；
S42、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，或者损失值小于设定阈值；
S43、利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型。
10.根据权利要求9所述的车辆轨迹预测方法，其特征在于，所述S41具体为：
使用Adam优化器对车辆轨迹预测模型进行72轮次训练，批次大小为32，重量衰减为；前36轮次仅用一个解码器端到端训练车辆轨迹预测模型；在第36轮次后，学习速率从/>衰减到/>。
CN202410005329.0A 2024-01-03 2024-01-03 一种不依赖地图信息的车辆轨迹预测方法 Active CN117493424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410005329.0A CN117493424B (zh) 2024-01-03 2024-01-03 一种不依赖地图信息的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410005329.0A CN117493424B (zh) 2024-01-03 2024-01-03 一种不依赖地图信息的车辆轨迹预测方法

Publications (2)

Publication Number Publication Date
CN117493424A true CN117493424A (zh) 2024-02-02
CN117493424B CN117493424B (zh) 2024-03-22

Family

ID=89683438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410005329.0A Active CN117493424B (zh) 2024-01-03 2024-01-03 一种不依赖地图信息的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN117493424B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139696A (zh) * 2021-05-11 2021-07-20 深圳大学 一种轨迹预测模型构建方法及轨迹预测方法、装置
US20220011122A1 (en) * 2020-07-09 2022-01-13 Beijing Tusen Weilai Technology Co., Ltd. Trajectory prediction method and device
CN114692762A (zh) * 2022-04-02 2022-07-01 重庆邮电大学 一种基于图注意力交互机制的车辆轨迹预测方法
CN114757975A (zh) * 2022-04-29 2022-07-15 华南理工大学 基于transformer与图卷积网络的行人轨迹预测方法
CN114802296A (zh) * 2022-03-17 2022-07-29 浙江工业大学 一种基于动态交互图卷积的车辆轨迹预测方法
CN114997067A (zh) * 2022-06-30 2022-09-02 南京航空航天大学 一种基于时空图与空域聚合Transformer网络的轨迹预测方法
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、***及存储介质
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
US11495055B1 (en) * 2021-11-10 2022-11-08 Huazhong University Of Science And Technology Pedestrian trajectory prediction method and system based on multi-interaction spatiotemporal graph network
CN116128930A (zh) * 2023-03-22 2023-05-16 重庆邮电大学 一种基于图时空金字塔的自动轨迹预测方法
KR102539679B1 (ko) * 2023-02-01 2023-06-02 (주)피플리 사용자의 경로를 이용하여 사용자 맞춤형 장소 추천 방법, 장치 및 시스템
CN116552567A (zh) * 2023-05-29 2023-08-08 同济大学 一种l3高速自动驾驶的交互增强轨迹预测方法及***
CN117033602A (zh) * 2023-08-24 2023-11-10 北京邮电大学 一种多模态的用户心智感知问答模型的构建方法
WO2023221348A1 (zh) * 2022-05-19 2023-11-23 长安大学 车辆轨迹预测方法、***、计算机设备及存储介质
CN117315025A (zh) * 2023-09-28 2023-12-29 湖南工程学院 一种基于神经网络的机械臂6d位姿抓取方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220011122A1 (en) * 2020-07-09 2022-01-13 Beijing Tusen Weilai Technology Co., Ltd. Trajectory prediction method and device
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN113139696A (zh) * 2021-05-11 2021-07-20 深圳大学 一种轨迹预测模型构建方法及轨迹预测方法、装置
US11495055B1 (en) * 2021-11-10 2022-11-08 Huazhong University Of Science And Technology Pedestrian trajectory prediction method and system based on multi-interaction spatiotemporal graph network
CN114802296A (zh) * 2022-03-17 2022-07-29 浙江工业大学 一种基于动态交互图卷积的车辆轨迹预测方法
CN114692762A (zh) * 2022-04-02 2022-07-01 重庆邮电大学 一种基于图注意力交互机制的车辆轨迹预测方法
CN114757975A (zh) * 2022-04-29 2022-07-15 华南理工大学 基于transformer与图卷积网络的行人轨迹预测方法
WO2023221348A1 (zh) * 2022-05-19 2023-11-23 长安大学 车辆轨迹预测方法、***、计算机设备及存储介质
CN114997067A (zh) * 2022-06-30 2022-09-02 南京航空航天大学 一种基于时空图与空域聚合Transformer网络的轨迹预测方法
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、***及存储介质
KR102539679B1 (ko) * 2023-02-01 2023-06-02 (주)피플리 사용자의 경로를 이용하여 사용자 맞춤형 장소 추천 방법, 장치 및 시스템
CN116128930A (zh) * 2023-03-22 2023-05-16 重庆邮电大学 一种基于图时空金字塔的自动轨迹预测方法
CN116552567A (zh) * 2023-05-29 2023-08-08 同济大学 一种l3高速自动驾驶的交互增强轨迹预测方法及***
CN117033602A (zh) * 2023-08-24 2023-11-10 北京邮电大学 一种多模态的用户心智感知问答模型的构建方法
CN117315025A (zh) * 2023-09-28 2023-12-29 湖南工程学院 一种基于神经网络的机械臂6d位姿抓取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡英凤;朱南楠;邰康盛;刘擎超;王海;: "基于注意力机制的车辆行为预测", 江苏大学学报(自然科学版), no. 02, 10 March 2020 (2020-03-10) *

Also Published As

Publication number Publication date
CN117493424B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111401233A (zh) 轨迹预测方法、装置、电子设备及介质
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
CN113537445B (zh) 一种轨迹预测方法、装置、设备和存储介质
CN114399743B (zh) 一种障碍物未来轨迹的生成方法
CN114061569B (zh) 基于光栅阵列传感技术的车辆轨迹跟踪方法及***
CN111798492A (zh) 轨迹预测方法、装置、电子设备及介质
CN115690153A (zh) 一种智能体轨迹预测方法及***
CN116129637A (zh) 一种考虑交互的行人轨迹预测***及方法
CN117493424B (zh) 一种不依赖地图信息的车辆轨迹预测方法
CN117218382A (zh) 一种无人***大跨度穿梭多摄像头轨迹跟踪识别方法
CN116552567A (zh) 一种l3高速自动驾驶的交互增强轨迹预测方法及***
CN116071728A (zh) 基于transformer和姿态估计的行人轨迹预测方法及存储介质
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
Kang et al. ETLi: Efficiently annotated traffic LiDAR dataset using incremental and suggestive annotation
Kezia et al. Vehicle Trajectory Prediction Using Optimized Sta-Lstm For Autonomous Driving
Zhang et al. Learning cross-scale visual representations for real-time image geo-localization
CN116890881B (zh) 一种车辆变道决策生成方法及装置、电子设备和存储介质
CN115880661B (zh) 一种车辆匹配的方法及装置、电子设备、存储介质
CN118238848A (zh) 一种基于视觉语言大模型的自动驾驶决策规划方法及***
CN116923450A (zh) 基于注意力机制与目标点信息的周车轨迹预测方法及装置
CN117930297B (zh) 一种基于车载摄像头和地图的车辆定位方法及***
US20230051014A1 (en) Device and computer-implemented method for object tracking
Sharma et al. Foresee: Attentive future projections of chaotic road environments with online training
CN118115858A (zh) 基于Transformer解码器及注意力的车载图像小目标跟踪方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant