CN114399743B - 一种障碍物未来轨迹的生成方法 - Google Patents
一种障碍物未来轨迹的生成方法 Download PDFInfo
- Publication number
- CN114399743B CN114399743B CN202111506962.0A CN202111506962A CN114399743B CN 114399743 B CN114399743 B CN 114399743B CN 202111506962 A CN202111506962 A CN 202111506962A CN 114399743 B CN114399743 B CN 114399743B
- Authority
- CN
- China
- Prior art keywords
- track
- future
- predicted
- historical
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种障碍物未来轨迹的生成方法。为了克服忽略其他交通参与者的干扰导致轨迹预测失真严重的问题，本发明采用结合CVAE和GAN提出一种多轨迹生成的方法，历史轨迹的编码特征结合周围交通参与者的交互特征，经过生成模型解码后生成未来轨迹，通过判别模型对生成的轨迹进行真假的判断同时结合可行驶区域的信息，对生成的未来轨迹进行约束，避免不合理轨迹的生成。通过多次随机采样，得到多条轨迹结合周围交通参与者的交互特征的多轨迹生成的方法，考虑了其他交通参与者的影响，网络自动学习到被预测目标在不同环境下的多意图行为，充分表达未来轨迹的不确定性，同时可行驶区域对未来轨迹的约束能在复杂场景下对被预测目标的未来轨迹进行预测。
Description
技术领域
本发明涉及智能汽车自动控制领域，尤其涉及一种障碍物未来轨迹的生成方法。
背景技术
智能驾驶汽车通过多个传感器感知周围的环境和障碍物信息，感知的结果送入运动规划***，对智能驾驶汽车进行运动的规划，从而实现对车辆的自动控制。行为预测即对周围交通参与者进行未来运动轨迹的预判，准确的预测周围交通参与者的轨迹可以更有效地避免碰撞，保证智能驾驶汽车在复杂环境中安全行驶，还能提高规划控制的稳定性和舒适度。
现有研究中，主要可分为：基于物理模型和数据驱动的方法，基于物理模型的方法依据运动学原理根据历史轨迹预测未来轨迹，但这种方法只考虑被预测目标自身的运动信息，仅能进行短时的预测，长时的预测将会不准确；基于数据驱动的方法即采用机器学习或深度学习的方法，设计合适的机器学习或深度学习模型，通过数据训练的方式进行预测。基于数据驱动的方法能够结合目标历史信息、环境信息、周围目标交互信息，进行一个更准确的长时预测。然而，由于预测周围交通参与者的轨迹不是一个确定性的任务，受环境、驾驶员意图和驾驶习惯影响，如何准确预测周围交通参与者的未来轨迹，以提高智能驾驶车辆的行驶安全性和舒适性，是当下一个亟待解决的问题及难点。
例如，公开号为CN112347567A的一种车辆意图和轨迹预测的方法，提出的车辆意图和轨迹预测方法将预测人类驾驶行为简化为预测车辆会***到哪个区域，通过车辆自身和邻居的信息判断车辆最终***的区域，基于隐马尔可夫模型进行车辆意图的识别，结合车辆动力学模型进行轨迹预测。
公开号为CN113128326A的具有语义地图和LSTM的车辆轨迹预测模型，提出一种结合语义地图的轨迹预测方法，采用LSTM模型提取目标障碍物的动态特征，采用CNN模型学习图像地图的一部分中的驾驶环境的语义地图特征。结合目标障碍物的动态特征和驾驶环境的语义地图特征经过MLP获得轨迹预测信息。应用神经网络对预测间隔的连续时间点的移动障碍物的位置进行迭代预测，以完成所有时间点的预测。
公开号为CN112364997B的一种障碍物的轨迹预测方法及装置，通过目标障碍物周围的环境信息、目标障碍物的历史轨迹数据和预先确定的各参考轨迹，预测目标障碍物的意图属于该意图类型的概率，以及在该意图类型下目标障碍物的预测轨迹。其中，预先确定的参考轨迹根据预先采集到的若干个障碍物的真实轨迹，根据各个真实轨迹周围的环境信息，将真实轨迹划分为若干环境类型，针对每个环境类型，聚类该环境下的各个真实轨迹，并将聚类的轨迹作为该环境类型下的各参考轨迹，每个参考轨迹对应一个意图类型。
发明内容
本发明主要解决现有技术忽略其他交通参与者的干扰导致轨迹预测失真严重的问题；提供一种障碍物未来轨迹的生成方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
本发明包括训练阶段和预测阶段，训练阶段同时运行轨迹生成模型和轨迹判别模型，所述轨迹生成模型生成一系列带约束的预测未来轨迹，所述轨迹判别模型负责判别所生成的预测未来轨迹的真假；其中，训练阶段仅在开发时运行，在实际场景应用时，只运行预测阶段，即在产品开发时将产品进行训练后提高预测的精准度，当精准度达到要求后即可进行轨迹预测。
所述训练阶段执行以下步骤：
A1:获取预测目标以及所述预测目标周围的其他障碍物的历史轨迹与真实未来轨迹，将所述历史轨迹与真实未来轨迹进行编码后得到所述历史轨迹与真实未来轨迹的编码特征，获取经分布采样的历史轨迹编码特征；提取所述预测目标周围的障碍物的交互特征，生成所述预测目标的预测未来轨迹；障碍物可以是所有类型的周围交通参与者，包括行人、机动车、非机动车；在训练阶段，采用的是已经发生的时刻，即预测目标和其他障碍物的历史轨迹和那一时刻的未来轨迹都已经被确认了，这一确认的未来轨迹称作真实未来轨迹，预测未来轨迹是生成模型生成的未来轨迹，与真实的未来轨迹有出入；提取了周围障碍物的交互特征后，将周围障碍物的影响作为预测未来轨迹的指标之一，提高了预测精度。
A2:获取预测目标所在场景的可行驶区域鸟瞰图，对所述预测目标的预测未来轨迹进行约束；由于在实际的交通场景中，有些地方是不可行驶的，比如单行道、公交车专用道、红灯路口等，需要利用这些条件对预测的轨迹进行约束才能使预测未来轨迹符合实际。
A3:交替更新所述判别模型和生成模型的权重；
所述预测阶段执行以下步骤：
B1：对所述预测目标以及预测目标周围的其他障碍物的历史轨迹进行编码得到所述预测目标以及预测目标周围的其他障碍物的历史轨迹编码特征，根据所述预测目标周围的其他障碍物的历史轨迹编码特征得到预测目标周围障碍物的交互特征；预测阶段是在真实应用场景下进行轨迹预测，所以没有真实未来轨迹；获取经分布采样的历史轨迹编码特征，由所述经分布采样的历史轨迹编码特征获得所述预测目标的预测未来轨迹；
B2：将所述预测目标的预测未来轨迹投影至所述的可行驶区域鸟瞰图中对所述预测目标的预测未来轨迹进行约束；
B3：执行步骤B1直到生成足够多条预测目标的预测未来轨迹，足够多条预测目标的预测未来轨迹指K条预测未来轨迹。
作为优选，若场景中有n个障碍物，以所述第i个障碍物为预测目标，则所述预测目标的第t时刻的历史轨迹的坐标表达式为：其中，τ为以t时刻为基准往前的τ个时刻，/>为预测目标t时刻时在世界坐标系下的坐标；所述预测目标的第t时刻的真实未来轨迹为：/>其中τ′为以t时刻为基准往后的τ′个时刻；历史轨迹Histi和真实未来轨迹Futurei是由多个时刻下预测目标在世界坐标系下的坐标点形成的一连串的轨迹，将这些坐标点称作轨迹点。
作为优选，所述训练阶段将历史轨迹Histi编码后得到历史轨迹编码特征，未来轨迹Futurei编码后得到未来轨迹编码特征；将所述历史轨迹编码特征和未来轨迹编码特征叠加后经过两个全连接层得到均值μ和方差σ2用于学习分布Z(μ，σ2)～P(Z|Histi，Futurei)，其中，Z建模为高斯分布且Z～N(0，I)；计算Z(μ，σ2)与高斯分布N(0，I)的距离损失为：L1(i)＝KLD(Z(μ，σ2)，N(0，I))；对Z(μ，σ2)进行随机采样得到一组隐变量，将所述隐变量经过多层感知机得到和历史轨迹编码特征相同维度的特征向量后经过归一化与所述历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征；训练阶段采用KL散度度量学习的分布Z(μ，σ2)与高斯分布N(0，I)的距离损失。
作为优选，所述的根据权利要求2所述的一种障碍物未来轨迹的生成方法，其特征在于，对所述预测目标周围的所有障碍物的历史轨迹经过编码后得到周围障碍物的编码特征，对所述周围障碍物的编码特征求均值后得到所述预测目标周围障碍物的交互特征；将经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加后获得最终编码特征，将预测未来轨迹的最终编码特征解码后得到预测的第i个预测目标的未来轨迹的表达式其中，Predictioni为预测未来轨迹。
作为优选，所述的根据权利要求3所述的一种障碍物未来轨迹的生成方法，其特征在于，对分布Z(μ，σ2)进行K次随机采样生成K组预测目标的预测未来轨迹，第K组预测目标的预测未来轨迹的表达式为其中，(k∈K)；在训练阶段，利用K组预测的第i个障碍物的未来轨迹Predictionik与所述的真实未来轨迹Futurei计算得到均方差损失为：/>
作为优选，获取自动驾驶车辆所在场景的可行驶区域鸟瞰图；将所述预测未来轨迹中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对预测未来轨迹的轨迹点进行约束；可行驶区域鸟瞰图可以由视觉或激光传感器获得的数据识别得到，通过可行驶区域的约束，将预测未来轨迹中的不合理轨迹去除，优化预测未来轨迹。
作为优选，依次将所述预测未来轨迹中的轨迹点投影至鸟瞰图中，根据可行驶区域鸟瞰图，计算所述轨迹点到可行驶区域的最短距离其中，/>对应未来的某一时刻，若所述轨迹点投影在可行驶区域内，则/>计算约束损失/>其中，α，β，γ为超参数常量，/>用于计算距离相关的约束值，β，γ用于调节约束强度，距离越大说明越偏离可行驶区域，惩罚也越大即损失越大，/>为与时间相关的调节因子，/>越小影响越大惩罚越大损失越大，目的是希望越接近当前时刻预测的轨迹点更准确。
作为优选，所述判别模型的权重更新包括：将所述的历史轨迹和预测未来轨迹拼接成完整轨迹送入判别模型，所述完整轨迹经过编码后由多层感知器得到轨迹真假的概率值predik，与标签gtik值计算交叉熵损失，对应标签gtik为假；将历史轨迹和真实未来轨迹拼接后再次送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值predi_real，与标签gti_real值计算交叉熵损失，对应标签gti_real为真；判别损失L4(i)计算为判别模型总损失LossD_i＝L4(i)；所述生成模型的权重更新包括：将所述的历史轨迹和生成轨迹拼接成一条完整轨迹送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值predik，与标签gtik值计算交叉熵损失，此时，对应标签gtik为真；此时判别损失表达为：生成模型总损失需要将生成模型的和判别模型的损失进行加权求和：LossG_i＝α1L1(i)+α2L2(i)+α3L3(i)+α4L4(i)，其中，α1，α2，α3，α4为对应的损失权重。
作为优选，所述预测阶段对所述的预测目标以及预测目标周围的障碍物的历史轨迹编码后得到预测目标以及预测目标周围的障碍物的历史轨迹的编码特征，对所述编码特征求均值获得预测目标的周围障碍物的交互特征；根据学习的分布Z(μ，σ2)进行随机采样后得到的隐变量得到特征向量，将所述特征向量归一化后与历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征；经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加获得最终编码的特征，解码后获得预测未来轨迹的坐标表达式所述预测未来轨迹Predictioni中的点投影至可行驶区域鸟瞰图中，对预测未来轨迹进行约束，将超出可行驶区域轨迹去除；再次根据分布Z(μ，σ2)进行随机采样，重复上述过程，直到生成K条预测未来轨迹，这K条预测未来轨迹即作为预测目标未来可能的行驶轨迹；预测阶段学习的分布与训练阶段学习分布的步骤相同。
本发明的有益效果是：
1.生成模型充分考虑被预测目标的历史轨迹特征和周围车辆的交互特征，提高预测的精度；
2.通过判别模型的学习使得网络能够获得更加真实的轨迹；
3.通过对生成的轨迹进行可行驶区域约束，过滤不合理的轨迹，获得更加合理有效的轨迹；
4.适用于所有类型周围交通参与者，包括行人、机动车、非机动车；
5.轨迹生成阶段考虑了其他交通参与者的影响，通过网络自动学习到被预测目标在不同环境下的多意图行为，充分表达未来轨迹的不确定性。
附图说明
图1是本发明的一种障碍物未来轨迹的生成方法的训练阶段流程示意图；
图2是本发明的一种障碍物未来轨迹的生成方法的预测阶段流程示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种障碍物未来轨迹的生成方法，如图1、图2所示，主要应用于自动驾驶汽车，本方法结合CVAE和GAN的多轨迹生成方法，包括训练阶段和预测阶段，其中，只有在对产品进行开发时才运行训练阶段；而在产品真正投入使用后，仅实施预测阶段来对未来轨迹进行预测；训练阶段同时运行轨迹生成模型和轨迹判别模型，轨迹生成模型以历史轨迹的编码特征和未来轨迹的编码特征作为条件，学习轨迹编码特征的一个高斯分布，再根据高斯分布采样结合历史轨迹编码特征和周围交通车辆的交互特征解码后生成一系列带约束的轨迹，判别模型中负责判别所生成的轨迹的真假；预测阶段只运行生成模型，根据训练阶段学习到的高斯分布经过多次采样，再结合历史轨迹编码特征和周围交通参与者的交互特征经过解码器后生成预测未来轨迹，生成预测未来轨迹经过投影后，去除可行驶区域外的轨迹，得到最终的多条轨迹。
为了清楚地表达轨迹，可以将预测目标看作行驶在世界坐标系上，预测目标的轨迹即由世界坐标系上的一个个坐标点形成。
假设当前时刻为第t时刻，在自动驾驶车辆的交通场景中有n个其他交通参与者，将其他交通参与者视作障碍物，则第i个障碍物在第t时刻的历史轨迹为：τ为以t时刻为基准往前的τ个时刻，τ表明了历史轨迹的长度；第t时刻的未来轨迹为：
其中τ′为以t时刻为基准往后的τ′个时刻，τ′表明了未来轨迹的长度。
在训练阶段，利用自动驾驶车辆上的传感器获得自动驾驶车辆及周围车辆的历史轨迹和未来轨迹，该历史轨迹和未来可以由视觉或激光传感器获得的数据识别得到的，具体识别方法本实施例中不做详细介绍；对第i个预测目标，历史轨迹Histi经过编码器1得到历史轨迹编码特征，未来轨迹Futurei经过编码器2得到未来轨迹编码特征，历史轨迹编码特征和未来轨迹编码特征叠加后经过两个全连接层，得到均值μ和方差σ2，用于学习分布Z(μ，σ2)～P(Z|Histi，Futurei)，Z建模为高斯分布，Z～N(0，I)；训练阶段采用KL散度度量学习的分布Z(μ，σ2)与高斯分布N(0，I)的距离损失:L1(i)＝KLD(Z(μ，σ2)，N(0，I))；接下来再根据学习的分布Z(μ，σ2)～P(Z|Histi，Futurei)进行随机采样，得到一组隐变量，该隐变量经过多层感知机得到和历史轨迹编码特征相同维度的特征向量，再经过softmax归一化与历史轨迹编码特征相乘，得到经分布采样的历史轨迹编码特征。
同时，提取第i个目标周围车辆的交互特征，具体方法如下：对第i个预测目标周围所有障碍物的历史轨迹分别经过编码器3获得周围车辆的历史轨迹的编码特征，再对这些障碍物的历史轨迹编码特征求均值获得第i个预测目标周围障碍物的交互特征；由经分布采样的历史轨迹编码特征和障碍物的交互特征叠加获得最终编码的特征，最终编码的特征再经过解码器，获得预测未来轨迹的坐标表达
经过对学习的分布进行K次随机采样，生成K组轨迹，
在训练阶段，这K组生成轨迹Predictionik与真实未来轨迹Futurei计算均方误差损失
获得自动驾驶车辆所在场景的可行驶区域鸟瞰图，该可行驶区域鸟瞰图可以由视觉或激光传感器获得的数据识别得到，具体识别方法本实施例不做详细介绍；将生成轨迹Predictionik中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对生成轨迹的轨迹点进行约束，具体方法为：依次将预测未来轨迹Predictionik中的轨迹点投影至鸟瞰图中，根据可行驶区域鸟瞰图，计算该轨迹点到可行驶区域的最短距离 对应未来的某一时刻，其中，若该轨迹点投影在可行驶区域内，则/>根据轨迹点到可行驶区域的最短距离/>和未来的时刻点/>计算约束损失，基于可行驶区域的约束损失/>其中，α，β，γ为超参数常量，/>计算距离相关的约束值，β，γ用于调节约束强度，距离越大说明越偏离可行驶区域，惩罚也越大即损失越大，/>为与时间相关的调节因子，/>越小影响越大惩罚越大损失越大，目的是希望越接近当前时刻预测的轨迹点更准确。
判别模型由一个编码器4和多层感知器组成；在整个训练过程中，判别模型和生成模型权重交替更新。
更新判别模型的过程如下：将历史轨迹Histi和预测未来轨迹Predictionik拼接成一条完整轨迹送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值predik，与标签gtik值计算交叉熵损失，对应标签gtik为假；同时，将历史轨迹Histi和真实未来轨迹Futurei拼接后再次送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值predi_real，与标签gti_real值计算交叉熵损失，对应的标签gti_real即为真；此时，得到判别损失的表达式为：
判别模型总损失LossD_i＝L4(i)，判别模型总损失用于更新判别模型对应的权重。
更新生成模型的过程如下：将历史轨迹Histi和生成轨迹Predictonik拼接成一条完整轨迹送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值predik，与标签gtik值计算交叉熵损失，此时，对应标签gtik为真；此时，判别损失表达为：生成模型总损失需要将生成模型和判别模型的损失进行加权求和：LossG_i＝α1L1(i)+a2 L2(i)+α3 L3(i)+α4 L4(i)，其中，α1，α2，α3，α4为对应的损失权重，生成模型总损失用于更新生成模型对应的权重。
其中，以上提到的编码器1，2，3，4可以为一维卷积网络或RNN系列循环神经网络比如LSTM,GRU等，解码器可以为RNN系列循环神经网络(LSTM,GRU等)。
执行预测阶段时，自动驾驶汽车在真实的驾驶场景下对周围障碍物的轨迹进行预测，此时只有历史轨迹信息，而无未来轨迹信息。预测阶段的具体过程为：对第i个预测目标，历史轨迹Histi经过编码器1得到历史轨迹编码特征，对第i个预测目标周围障碍物的历史轨迹分别经过编码器3获得周围障碍物的编码特征，再对这些障碍物的编码特征求均值后获得第i个预测目标周围障碍物的交互特征。
根据分布Z(μ，σ2)进行随机采样，得到一组隐变量，该隐变量经过多层感知机得到和历史轨迹的编码特征相同维度的特征向量，再经过softmax归一化后与历史轨迹编码特征相乘，得到经分布采样的历史轨迹编码特征；由经分布采样的历史轨迹编码特征和周围障碍物的交互特征叠加获得最终编码的特征，再经过解码器，获得预测未来轨迹的坐标表达式为：将预测未来轨迹Predictioni中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对生成轨迹的轨迹点进行约束，将超出可行驶区域的轨迹点对应的轨迹去除；再次根据分布Z(μ，σ2)进行随机采样，重复上述过程，直到生成K条轨迹:/>
其中，以上提到的K值可以根据实际需要采取不同的K值，在本实施例中，K值一般取6、8、10。
当前自动驾驶车辆周围的其他障碍物的未来轨迹均可按照上述第i个预测目标的预测方法进行预测和生成。
在本实施例中，通过结合CVAE和GAN的多轨迹生成方法，采用数据驱动的方式，学习生成模型和判别模型，生成模型中学习在给定历史轨迹和未来轨迹特征下的分布Z(μ，σ2)，通过学习到分布进行多次随机采样，生成多条轨迹，生成模型充分考虑被预测目标的历史轨迹特征和周围车辆的交互特征，通过判别模型的学习使得网络能够获得更加真实的轨迹；同时，通过对生成的轨迹进行可行驶区域约束，过滤不合理的轨迹，获得更加合理有效的轨迹。
此外，在本实施例中的方法可适用于所有类型周围交通参与者，包括行人、机动车、非机动车，只需要获得场景下对应类型的可行驶区域和目标的轨迹信息即可使用本发明的方法；若只有目标的轨迹信息同样可以生成多轨迹，只是缺少可行驶区域的约束。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (9)
1.一种障碍物未来轨迹的生成方法，其特征在于，包括训练阶段和预测阶段，所述训练阶段同时运行轨迹生成模型和轨迹判别模型，所述轨迹生成模型生成一系列带约束的预测未来轨迹，所述轨迹判别模型负责判别所生成的预测未来轨迹的真假；
所述训练阶段执行以下步骤：
A1：获取预测目标以及所述预测目标周围的其他障碍物的历史轨迹与真实未来轨迹，将所述历史轨迹与真实未来轨迹进行编码后得到所述历史轨迹与真实未来轨迹的编码特征，获取经分布采样的历史轨迹编码特征；提取所述预测目标周围的障碍物的交互特征，生成所述预测目标的预测未来轨迹；
A2：获取预测目标所在场景的可行驶区域鸟瞰图，对所述预测目标的预测未来轨迹进行约束；
A3：交替更新所述判别模型和生成模型的权重；
所述预测阶段执行以下步骤：
B1：对所述预测目标以及预测目标周围的其他障碍物的历史轨迹进行编码得到所述预测目标以及预测目标周围的其他障碍物的历史轨迹编码特征，根据所述预测目标周围的其他障碍物的历史轨迹编码特征得到预测目标周围障碍物的交互特征；获取经分布采样的历史轨迹编码特征，由所述经分布采样的历史轨迹编码特征获得所述预测目标的预测未来轨迹；
B2：将所述预测目标的预测未来轨迹投影至所述的可行驶区域鸟瞰图中对所述预测目标的预测未来轨迹进行约束；
B3：执行步骤B1直到生成足够多条预测目标的预测未来轨迹。
2.根据权利要求1所述的一种障碍物未来轨迹的生成方法，其特征在于，若场景中有n个障碍物，以所述第i个障碍物为预测目标，则所述预测目标的第t时刻的历史轨迹的坐标表达式为：i≤n，其中，τ为以t时刻为基准往前的τ个时刻，/>为预测目标t时刻时在世界坐标系下的坐标；所述预测目标的第t时刻的真实未来轨迹为：/>其中τ′为以t时刻为基准往后的τ′个时刻。
3.根据权利要求2所述的一种障碍物未来轨迹的生成方法，其特征在于，所述训练阶段将历史轨迹Histi编码后得到历史轨迹编码特征，未来轨迹Futurei编码后得到未来轨迹编码特征；将所述历史轨迹编码特征和未来轨迹编码特征叠加后经过两个全连接层后得到均值μ和方差σ2用于学习分布Z(μ，σ2)～P(Z|Histi，Futurei)，其中，Z建模为高斯分布且Z～N(0，I)；计算Z(μ，σ2)与高斯分布N(0，I)的距离损失为：L1(i)＝KLD(Z(μ，σ2)，N(0，I))；对Z(μ，σ2)进行随机采样得到一组隐变量，将所述隐变量经过多层感知机得到和历史轨迹编码特征相同维度的特征向量后经过归一化与所述历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征。
4.根据权利要求2所述的一种障碍物未来轨迹的生成方法，其特征在于，对所述预测目标周围的所有障碍物的历史轨迹经过编码后得到周围障碍物的编码特征，对所述周围障碍物的编码特征求均值后得到所述预测目标周围障碍物的交互特征；将经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加后获得预测未来轨迹的最终编码特征，将所述最终编码特征解码后得到预测的第i个预测目标的未来轨迹的表达式其中，Predictioni为预测未来轨迹。
5.根据权利要求3所述的一种障碍物未来轨迹的生成方法，其特征在于，对分布Z(μ，σ2)进行K次随机采样生成K组预测目标的预测未来轨迹，第K组预测目标的预测未来轨迹的表达式为其中，(k∈K)；在训练阶段，利用K组预测的第i个障碍物的未来轨迹Predictionik与真实未来轨迹Futurei计算得到均方差损失为：/>
6.根据权利要求1所述的一种障碍物未来轨迹的生成方法，其特征在于，获取自动驾驶车辆所在场景的可行驶区域鸟瞰图；将所述预测未来轨迹中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对预测未来轨迹的轨迹点进行约束。
7.根据权利要求1所述的一种障碍物未来轨迹的生成方法，其特征在于，依次将所述预测未来轨迹中的轨迹点投影至鸟瞰图中，根据可行驶区域鸟瞰图，计算所述轨迹点到可行驶区域的最短距离其中，/>对应未来的时刻，若所述轨迹点投影在可行驶区域内，则计算约束损失/>其中，α，β，γ为超参数常量。
8.根据权利要求1所述的一种障碍物未来轨迹的生成方法，其特征在于，所述判别模型的权重更新包括：将所述的历史轨迹和预测未来轨迹拼接成完整轨迹送入判别模型，所述完整轨迹经过编码后由多层感知器得到轨迹真假的概率值predik，与标签gtik值计算交叉熵损失，对应标签gtik为假；将历史轨迹和真实未来轨迹拼接后再次送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值predi_real，与标签gti_real值计算交叉熵损失，对应标签gti_real为真；判别损失L4(i)计算为判别模型总损失LossD_i＝L4(i)；
所述生成模型的权重更新包括：将所述的历史轨迹和生成轨迹拼接成一条完整轨迹送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值predik，与标签gtik值计算交叉熵损失，此时，对应标签gtik为真；此时判别损失表达为：生成模型总损失需要将生成模型的和判别模型的损失进行加权求和：LossG_i＝α1L1(i)+α2L2(i)+α3L3(i)+α4L4(i)，其中，α1，α2，α3，α4为损失权重。
9.根据权利要求2所述的一种障碍物未来轨迹的生成方法，其特征在于，预测阶段将所述预测目标以及预测目标周围的障碍物的历史轨迹编码后得到预测目标以及预测目标周围的障碍物的历史轨迹的编码特征，对编码特征求均值获得预测目标的周围障碍物的交互特征；根据学习的分布Z(μ，σ2)进行K次随机采样后得到的隐变量得到特征向量，将所述特征向量归一化后与历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征；经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加获得最终编码的特征，解码后获得K条预测未来轨迹表达式所述预测未来轨迹Predictionik中的点投影至可行驶区域鸟瞰图中，对预测未来轨迹进行约束，将超出可行驶区域轨迹去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111506962.0A CN114399743B (zh) | 2021-12-10 | 2021-12-10 | 一种障碍物未来轨迹的生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111506962.0A CN114399743B (zh) | 2021-12-10 | 2021-12-10 | 一种障碍物未来轨迹的生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114399743A CN114399743A (zh) | 2022-04-26 |
| CN114399743B true CN114399743B (zh) | 2024-05-28 |
Family
ID=81227946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111506962.0A Active CN114399743B (zh) | 2021-12-10 | 2021-12-10 | 一种障碍物未来轨迹的生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399743B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115148025B (zh) * | 2022-06-28 | 2023-10-20 | 重庆长安汽车股份有限公司 | 一种交通目标轨迹预测方法及可读存储介质 |
| CN115293297B (zh) * | 2022-10-08 | 2023-01-20 | 武汉理工大学 | 一种意图驱动的船舶轨迹预测方法 |
| CN116152611B (zh) * | 2023-04-14 | 2023-08-25 | 山东省凯麟环保设备股份有限公司 | 一种多级多尺度点云补全方法、***、设备及存储介质 |
| CN116152782A (zh) * | 2023-04-18 | 2023-05-23 | 苏州魔视智能科技有限公司 | 一种障碍物轨迹预测方法、装置、设备及存储介质 |
| CN116309689B (zh) * | 2023-05-17 | 2023-07-28 | 上海木蚁机器人科技有限公司 | 障碍物轨迹预测方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010228740A (ja) * | 2009-03-05 | 2010-10-14 | Nissan Motor Co Ltd | 走行経路生成装置、走行経路生成方法、及び運転操作支援装置 |
| CN108875818A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 基于变分自编码机与对抗网络结合的零样本图像分类方法 |
| CN112651374A (zh) * | 2021-01-04 | 2021-04-13 | 东风汽车股份有限公司 | 一种基于社会信息的未来轨迹预测方法及自动驾驶*** |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及*** |
-
2021
- 2021-12-10 CN CN202111506962.0A patent/CN114399743B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010228740A (ja) * | 2009-03-05 | 2010-10-14 | Nissan Motor Co Ltd | 走行経路生成装置、走行経路生成方法、及び運転操作支援装置 |
| CN108875818A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 基于变分自编码机与对抗网络结合的零样本图像分类方法 |
| CN112651374A (zh) * | 2021-01-04 | 2021-04-13 | 东风汽车股份有限公司 | 一种基于社会信息的未来轨迹预测方法及自动驾驶*** |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114399743A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114399743B (zh) | 一种障碍物未来轨迹的生成方法 | |
| CN112347567B (zh) | 一种车辆意图和轨迹预测的方法 | |
| CN110610271B (zh) | 一种基于长短记忆网络的多重车辆轨迹预测方法 | |
| Krasowski et al. | Safe reinforcement learning for autonomous lane changing using set-based prediction | |
| CN111930110A (zh) | 一种结合社会生成对抗网络的意图轨迹预测方法 | |
| US11816901B2 (en) | Multi-agent trajectory prediction | |
| CN112734808B (zh) | 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法 | |
| CN113954864A (zh) | 一种融合周边车辆交互信息的智能汽车轨迹预测***及方法 | |
| US11827214B2 (en) | Machine-learning based system for path and/or motion planning and method of training the same | |
| CN112257850A (zh) | 一种基于生成对抗网络的车辆轨迹预测方法 | |
| Cho et al. | Deep predictive autonomous driving using multi-agent joint trajectory prediction and traffic rules | |
| CN113076599A (zh) | 一种基于长短时记忆网络的多模态车辆轨迹预测方法 | |
| CN111661045B (zh) | 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元 | |
| Ye et al. | GSAN: Graph self-attention network for learning spatial–temporal interaction representation in autonomous driving | |
| CN115547040A (zh) | 安全势场下基于informer神经网络的驾驶行为预测方法 | |
| Mukherjee et al. | Interacting vehicle trajectory prediction with convolutional recurrent neural networks | |
| Zhang et al. | Predictive trajectory planning for autonomous vehicles at intersections using reinforcement learning | |
| Hegde et al. | Vehicle trajectory prediction using gan | |
| CN117408406A (zh) | 一种规划耦合的多目标车辆轨迹预测方法及*** | |
| CN115700509A (zh) | 一种基于仿真反馈数据的引导线生成方法及*** | |
| Trentin et al. | Learning-enabled multi-modal motion prediction in urban environments | |
| Guo et al. | Toward human-like lane following behavior in urban environment with a learning-based behavior-induction potential map | |
| Hsieh et al. | Trajectory Prediction at Unsignalized Intersections using Social Conditional Generative Adversarial Network | |
| US20230399027A1 (en) | Method for classifying a behavior of a road user and method for controlling an ego vehicle | |
| CN117541998B (zh) | 一种基于贝叶斯神经网络的行人轨迹融合预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |