CN113689470A - 一种多场景融合下的行人运动轨迹预测方法 - Google Patents

一种多场景融合下的行人运动轨迹预测方法 Download PDF

Info

Publication number
CN113689470A
CN113689470A CN202111024236.5A CN202111024236A CN113689470A CN 113689470 A CN113689470 A CN 113689470A CN 202111024236 A CN202111024236 A CN 202111024236A CN 113689470 A CN113689470 A CN 113689470A
Authority
CN
China
Prior art keywords
pedestrian
training
equal
frame
pedestrians
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111024236.5A
Other languages
English (en)
Other versions
CN113689470B (zh
Inventor
张小恒
刘书君
李勇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202111024236.5A priority Critical patent/CN113689470B/zh
Publication of CN113689470A publication Critical patent/CN113689470A/zh
Application granted granted Critical
Publication of CN113689470B publication Critical patent/CN113689470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体公开了一种多场景融合下的行人运动轨迹预测方法，包括步骤：采集J+1个场景下N个行人的运动轨迹，生成对应的J个训练数据集和1个测试数据集，并生成训练输入样本集、训练输出参考集、测试输入样本集；构造每个训练输入样本集、测试输入样本集中N个行人每帧的行人间关系矩阵；采用训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练，得到每个场景的预测模型；将测试输入样本集及对应行人间关系矩阵输入J个预测模型中，得到每个行人的J条预测轨迹；将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中，得到每个行人的最优预测轨迹。本发明通过上述步骤能够更加精准地预测行人轨迹。

Description

一种多场景融合下的行人运动轨迹预测方法
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种多场景融合下的行人运动轨迹预测方法。
背景技术
行人与车辆的碰撞事故在交通事故中占了极大比例，是极其重要的构成部分，行人的运动轨迹预测也是未来非人智能体(无人车辆，机器人等)应用的重要课题，对减少行人与车辆的碰撞事故，提升交通安全具有十分重要的意义。
在自动驾驶中，对行人轨迹的准确预测使控制器能够提前规划车辆在对抗环境中的运动。行人轨迹很难预测原因有如下几点：①行人与地形及周边环境之间相互作用复杂；②行人运动靠常识及社会习俗驱动；③由于行人目的地对观察者未知其运动本身的随机性。行人运动的社会属性使得早期研究者专使用各种社会力模型对其进行建模，近年来这一领域的研究人员专注于发明深层次的方法来模拟行人之间的社会互动，如使用社会长短期记忆网络(Social LSTM)和社会生成对抗网络(Social GAN)等深度学习方法进行建模，但仍然存在如下问题：
(1)社会力模型源于研究者构想，模型参数也缺乏实际实验数据支持，难以精准描述行人实际行为；
(2)基于深度学习的方法主要从大量实际观测数据样本中去学习行人的行为，对训练数据的依赖性很强，且难以避免个别偏离常识的预测错误；
(3)训练数据场景与实际应用场景存在不同程度差异导致模型适应性问题。
发明内容
本发明提供一种多场景融合下的行人运动轨迹预测方法，解决的技术问题在于：如何将多个不同场景的模型进行有效融合，为应用场景提供更好的模型适应性，以及如何更精准地预测行人轨迹。
为解决以上技术问题，本发明提供一种多场景融合下的行人运动轨迹预测方法，包括步骤：
S1、采集J+1个场景下N个行人的运动轨迹，生成对应的J个训练数据集和1个测试数据集，并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集，对测试数据集进行预处理生成测试输入样本集；
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵；
S3、基于每个场景的训练输入样本集及对应的的行人间关系矩阵对各自构建的时空卷积网络进行训练，得到每个场景的预测模型；
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中，得到每个行人的J条预测轨迹；
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中，以对每个行人的J条预测轨迹进行组合优化，得到每个行人的最优预测轨迹。
进一步地，在所述步骤S1中，任一训练数据集S包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标，即
Figure BDA0003242790400000021
其中1帧数据
Figure BDA0003242790400000022
记录了N个行人在某一时刻的空间位置，即
Figure BDA0003242790400000023
其中行人n在帧序f的空间位置标识为
Figure BDA0003242790400000024
1≤f≤F为帧序号，1≤n≤N为行人序号，(x,y)为行人二维平面坐标点；
时间段[Δt,T+Δt]包含了N个行人的T0+T1帧连续位置坐标，前T0帧数据可构建一个训练输入样本，后T1帧数据可构建一个训练输出参考样本，改变起始时间Δt，即Δt＝mTfra,0≤m≤(M-1)，其中Tfra为相邻帧时间间隔，共可得M个训练输入样本和M个训练输出参考样本，其中M个训练输入样本构成训练数据集S的输入样本集
Figure BDA0003242790400000025
其中样本
Figure BDA0003242790400000026
由N个行人的连续T0帧位置坐标构成，即
Figure BDA0003242790400000031
M个训练输出参考样本构成训练数据集S的训练输出参考集
Figure BDA0003242790400000032
样本
Figure BDA0003242790400000033
由N个行人的连续T1帧位置坐标构成，即
Figure BDA0003242790400000034
1≤m≤M为样本序号；
测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
进一步地，所述步骤S5具体包括步骤：
S51、针对行人n的J条预测轨迹构建J×T1维节点网络；
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群，获取节点Net(i,t)到节点Net(j,t+1)的启发式信息，节点Net(i,t)为预测模型model(i)预测输出的第t帧坐标，节点Net(j,t+1)为预测模型model(j)输出的第t+1帧坐标；
S53、基于第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率构建第k只蚂蚁的路径；
S54、为所有蚂蚁构建好路径，之后更新各节点上的信息素；
S55、以运动能量最小化约束衡量整条路径被选择；
S56、重复步骤S52～S55进行迭代，当达到最大迭代次数时，终止迭代，最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹，输出行人n的最优预测轨迹。
进一步地，在所述步骤S51中，行人n的J条预测轨迹表示为：
Figure BDA0003242790400000035
xt、yt表示行人n在帧序t的横纵坐标，1≤t≤T1，model(j)表示预测模型j，1≤j≤J；
J×T1维节点网络表示为：
Figure BDA0003242790400000036
其中，节点Net(j,t)＝(xj,t,yj,t)为model(j)预测输出的第t帧坐标，1≤t≤T1，1≤j≤J。
进一步地，在所述步骤S52中，所述启发式信息表示为：
Figure BDA0003242790400000041
ηij表示人工蚂蚁从节点Net(i,t)到Net(j,t+1)的启发式信息，1≤i≤J,1≤j≤J；Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标；
在所述步骤S53中，第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率表示为：
Figure BDA0003242790400000042
τij表示该蚂蚁释放在节点Net(i,t)到Net(j,t+1)这条边上的信息素，ηij为该蚂蚁从节点Net(i,t)到节点Net(j,t+1)的启发式信息，由于1≤j′≤J，τij′为该蚂蚁释放在节点Net(i,t)到下一个所有可能节点的信息素，ηij′为该蚂蚁从节点Net(i,t)到下一个所有可能节点的启发式信息；α为信息素的影响力，β为启发式信息的影响力；
信息素初值
Figure BDA0003242790400000043
与不同场景预测模型的权重Wmodel＝[w1,w2,…,wJ]相关，即
Figure BDA0003242790400000044
其中wi、wj分别为模型i和模型j的权重。
进一步地，在所述步骤S54中，各边上的信息素τij按如下公式更新：
Figure BDA0003242790400000045
其中第k只蚂蚁在边(Net(i,t),Net(j,t+1))上释放的信息素
Figure BDA0003242790400000046
表示为：
Figure BDA0003242790400000047
这里m为蚂蚁总数，ρ表示信息素蒸发速率，eval(Tk)表示对路径Tk的能量最小化评估值；
在所述步骤S55中，基于运动能量最小化约束的评估值
Figure BDA0003242790400000051
其中前后节点相对位移变化
Figure BDA0003242790400000052
，由于轨迹的连续性，起始参考点(x-1,y-1)为测试输入的观测轨迹倒数第二帧坐标；
进一步地，在所述步骤S2中，所述相互影响函数用
Figure BDA0003242790400000053
度量，表示为：
Figure BDA0003242790400000054
其中，
Figure BDA0003242790400000055
表示行人i和行人j之间的相对速度
Figure BDA0003242790400000056
的模，
Figure BDA0003242790400000057
表示行人i和行人j之间的相对位移
Figure BDA0003242790400000058
的模，行人i与行人j的空间属性分别为
Figure BDA0003242790400000059
(xi,yi)、(xj,yj)分别为对应的位置坐标，
Figure BDA00032427904000000510
分别为对应的速度矢量；θp-θv为行人i、j之间的相对位移
Figure BDA00032427904000000511
与相对速度
Figure BDA00032427904000000512
的夹角，
Figure BDA00032427904000000513
当前帧t与前一帧t-1之间的帧间时间间隔设为单位1，则水平和垂直方向速度分量分别为前后帧的位移差，即
Figure BDA00032427904000000514
λ为平衡相对速度和相对位移的比例系数，
Figure BDA00032427904000000515
为可产生影响的最大范围距离。
进一步地，在所述步骤S2中，N个行人第t帧的坐标所对应的行人间关系矩阵
Figure BDA00032427904000000516
其中第i行、第j列元素为
Figure BDA00032427904000000517
进一步地，所述步骤S3包括步骤：
S31、提取输入样本
Figure BDA0003242790400000061
中第t帧的位置坐标信息，将其转化为矩阵形式
Figure BDA0003242790400000062
以构建连续T0帧集合
Figure BDA0003242790400000063
S32、将
Figure BDA0003242790400000064
输入空间图卷积网络层，基于At对Vt进行卷积，第t帧空间图卷积网络层输出
Figure BDA0003242790400000065
其中D为At的度矩阵，W为随机初始化的2×2维矩阵，I为单位矩阵，σ(·)为激活函数，得到图卷积层输出集合
Figure BDA0003242790400000066
S33、输入
Figure BDA0003242790400000067
至L层卷积神经网络进行卷积，输出
Figure BDA0003242790400000068
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数，并利用随机梯度下降算法学习权重值，训练终止条件为满足最大训练周期数，保存训练好的预测模型。
进一步地，所述S33具体为：
Figure BDA0003242790400000069
为2×N维矩阵，将
Figure BDA00032427904000000610
输入L层卷积神经网络，得到第一层输出
Figure BDA00032427904000000611
及更高层输出
Figure BDA00032427904000000612
对应得到
Figure BDA00032427904000000613
的第一层输出
Figure BDA00032427904000000614
和更高层输出
Figure BDA00032427904000000615
Figure BDA00032427904000000616
为不同层卷积核的权重，K为卷积核尺度。
本发明提供的一种多场景融合下的行人运动轨迹预测方法，与现有技术方案相比较，具有以下优点：
1)针对不同场景数据集训练模型，并将多个模型的预测轨迹进行加权融合，从而起到对测试数据集的更有效适应；
2)综合考虑共同空间内行人之间的相对位移、相对速度、角度方向对运动轨迹的影响，从而构建行人间关系矩阵，为空时卷积网络提供先验知识；
3)将行人运动的能量最小化、回避拥堵这两个约束融入到组合优化(蚁群优化)当中，并规划预测最优路径，能够更加精准地预测行人轨迹。
附图说明
图1是本发明实施例提供的一种多场景融合下的行人运动轨迹预测方法的第一流程图；
图2是本发明实施例提供的一种多场景融合下的行人运动轨迹预测方法的第二流程图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
本发明实施例提供一种多场景融合下的行人运动轨迹预测方法，如图1的流程图所示，包括步骤：
S1、采集J+1个场景下N个行人的运动轨迹，生成对应的J个训练数据集和1个测试数据集，并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集，对测试数据集进行预处理生成测试输入样本集；
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵；
S3、基于每个场景的训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练，得到每个场景的预测模型；
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中，得到每个行人的J条预测轨迹；
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中，以对每个行人的J条预测轨迹进行组合优化，得到每个行人的最优预测轨迹。
图2更直观地展示了整个预测方法的流程。
(1)对于步骤S1
对于J个训练数据集中任一训练数据集S其包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标，即
Figure BDA0003242790400000081
其中1帧数据
Figure BDA0003242790400000082
记录了N个行人在某一时刻的空间位置，即
Figure BDA0003242790400000083
其中行人n在帧序f的空间位置标识为
Figure BDA0003242790400000084
为帧序号，1≤n≤N为行人序号，(x,y)为行人二维平面坐标点(不考虑地面起伏高度落差因素)。
时间段[Δt,T+Δt]包含了N个行人的T0+T1帧连续位置坐标，前T0帧数据可构建一个训练输入样本，后T1帧数据可构建一个训练输出参考样本，改变起始时间Δt，即Δt＝mTfra,0≤m≤(M-1)，其中Tfra为相邻帧时间间隔，共可得M个训练输入样本和M个训练输出参考样本，其中M个训练输入样本构成训练数据集S的输入样本集
Figure BDA0003242790400000085
其中样本
Figure BDA0003242790400000086
由N个行人的连续T0帧位置坐标构成，即
Figure BDA0003242790400000087
M个训练输出参考样本构成训练数据集S的训练输出参考集
Figure BDA0003242790400000088
样本
Figure BDA0003242790400000089
由N个行人的连续T1帧位置坐标构成，即
Figure BDA00032427904000000810
为样本序号。测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
(2)对于步骤S2
相互影响函数用
Figure BDA00032427904000000811
度量，表示为：
Figure BDA00032427904000000812
其中，
Figure BDA00032427904000000813
表示行人i和行人j之间的相对速度
Figure BDA00032427904000000814
的模，
Figure BDA00032427904000000815
表示行人i和行人j之间的相对位移
Figure BDA00032427904000000816
的模，行人i与行人j的空间属性分别为
Figure BDA00032427904000000817
(xi,yi)、(xj,yj)分别为对应的位置坐标，
Figure BDA0003242790400000091
分别为对应的速度矢量；θp-θv为行人i、j之间的相对位移
Figure BDA0003242790400000092
与相对速度
Figure BDA0003242790400000093
的夹角，
Figure BDA0003242790400000094
Figure BDA0003242790400000095
当前帧t与前一帧t-1之间的帧间时间间隔设为单位1，则水平和垂直方向速度分量分别为前后帧的位移差，即
Figure BDA0003242790400000096
Figure BDA0003242790400000097
λ为平衡相对速度和相对位移的比例系数，
Figure BDA0003242790400000098
为可产生影响的最大范围距离。
故，N个行人第t帧的坐标所对应的行人间关系矩阵表示为：
Figure BDA0003242790400000099
其中第i行、第j列元素为
Figure BDA00032427904000000910
(3)对于步骤S3
步骤S3包括步骤：
S31、提取输入样本
Figure BDA00032427904000000911
中第t帧的位置坐标信息，将其转化为矩阵形式
Figure BDA00032427904000000912
以构建连续T0帧集合
Figure BDA00032427904000000913
S32、将
Figure BDA00032427904000000914
输入空间图卷积网络层，基于At对Vt进行卷积，第t帧空间图卷积网络层输出
Figure BDA00032427904000000915
其中D为At的度矩阵，W为随机初始化的2×2维矩阵，I为单位矩阵，σ(·)为激活函数，得到图卷积层输出集合
Figure BDA00032427904000000916
S33、输入
Figure BDA00032427904000000917
至L层卷积神经网络进行卷积，输出
Figure BDA00032427904000000918
具体为，
Figure BDA00032427904000000919
为2×N维矩阵，将
Figure BDA00032427904000000920
输入L层卷积神经网络，得到第一层输出
Figure BDA00032427904000000921
及更高层输出
Figure BDA0003242790400000101
对应得到
Figure BDA0003242790400000102
的第一层输出
Figure BDA0003242790400000103
和更高层输出
Figure BDA0003242790400000104
Figure BDA0003242790400000105
为不同层卷积核的权重，K为卷积核尺度。
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数，并利用随机梯度下降算法学习权重值，训练终止条件为满足最大训练周期数，保存训练好的预测模型。
由此，得到J个场景的J个预测模型。
(4)对于步骤S5
步骤S5具体包括步骤：
S51、针对行人n的J条预测轨迹构建J×T1维节点网络；
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群，获取节点Net(i,t)到节点Net(j,t+1)的启发式信息，节点Net(i,t)为预测模型model(i)预测输出的第t帧坐标，节点Net(j,t+1)为预测模型model(j)输出的第t+1帧坐标；
S53、基于第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率构建第k只蚂蚁的路径；
S54、为所有蚂蚁构建好路径，之后更新各节点上的信息素；
S55、以运动能量最小化约束衡量整条路径被选择；
S56、重复步骤S52～S55进行迭代，当达到最大迭代次数时，终止迭代，最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹，输出行人n的最优预测轨迹。
在步骤S51中，行人n的J条预测轨迹表示为：
Figure BDA0003242790400000106
xt、yt表示行人n在帧序t的横纵坐标，1≤t≤T1，model(j)表示预测模型j，1≤j≤J；
J×T1维节点网络表示为：
Figure BDA0003242790400000111
其中，节点Net(j,t)＝(xj,t,yj,t)为model(j)预测输出的第t帧坐标，1≤t≤T1，1≤j≤J。
在步骤S52中，所述启发式信息表示为：
Figure BDA0003242790400000112
ηij表示人工蚂蚁从节点Net(i,t)到Net(j,t+1)的启发式信息，1≤i≤J,1≤j≤J；Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标；
在所述步骤S53中，第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率表示为：
Figure BDA0003242790400000113
τij表示该蚂蚁释放在节点Net(i,t)到Net(j,t+1)这条边上的信息素，ηij为该蚂蚁从节点Net(i,t)到节点Net(j,t+1)的启发式信息，由于1≤j′≤J，τij′为该蚂蚁释放在节点Net(i,t)到下一个所有可能节点的信息素，ηij′为该蚂蚁从节点Net(i,t)到下一个所有可能节点的启发式信息；α为信息素的影响力，β为启发式信息的影响力；
信息素初值
Figure BDA0003242790400000114
与不同场景预测模型的权重Wmodel＝[w1,w2,…,wJ]相关，即
Figure BDA0003242790400000115
其中wi,wj分别为模型i和模型j的权重。
在步骤S54中，各边上的信息素τij按如下公式更新：
Figure BDA0003242790400000116
其中第k只蚂蚁在边(Net(i,t),Net(j,t+1))上释放的信息素
Figure BDA0003242790400000117
表示为：
Figure BDA0003242790400000121
这里m为蚂蚁总数，ρ表示信息素蒸发速率，eval(Tk)表示对路径Tk的能量最小化评估值；
在步骤S55中，基于运动能量最小化约束的评估值
Figure BDA0003242790400000122
其中前后节点相对位移变化
Figure BDA0003242790400000123
，由于轨迹的连续性，起始参考点(x-1,y-1)为测试输入的观测轨迹倒数第二帧坐标。
由此，通过训练得到的多个场景下的预测模型结合步骤S4、S5可对实际应用场景中的多个行人进行最优运动轨迹预测。与现有技术方案相比较，本发明实施例提供的预测方法具有以下优点：
1)针对不同场景数据集训练模型，并将多个模型的预测轨迹进行加权融合，从而起到对测试数据集的更有效适应；
2)综合考虑共同空间内行人之间的相对位移、相对速度、角度方向对运动轨迹的影响，从而构建行人间关系矩阵，为空时卷积网络提供先验知识；
3)将行人运动的能量最小化、回避拥堵这两个约束融入到组合优化(蚁群优化)当中，并规划预测最优路径，能够更加精准地预测行人轨迹。
下面通过实验验证本预测方法的效果。
多场景模型训练部分步骤S1中J个训练数据集包括eth的两个数据集(eth,hotel)及UCY的3个数据集(univ,zara1,zara2)共5个不同场景数据集。如表1单帧数据片段示例，数据由多帧数据组成，每帧数据标注了(行人编号，帧序号，行人x坐标，行人y坐标)，帧间隔为0.4秒，观察样本为3.2秒行人轨迹，对应T0＝8帧图像，并预测接下来4.8秒的轨迹，对应T1＝12帧的图像。
表1单帧数据片段示例
帧序号 行人编号 行人x坐标 行人y坐标
10 1.0 10.7867577985 3.67631555479
10 2.0 10.9587077931 3.15460523261
10 3.0 10.9993275592 2.64673717882
多场景模型训练部分步骤S2中相对速度与相对位移比例系数λ＝1，行人间产生影响的最大范围距离
Figure BDA0003242790400000131
多场景模型训练部分步骤S3中激活函数
Figure BDA0003242790400000132
其中a＝0.25，卷积核尺度为2，图卷积层为1层，空时卷积总层数L＝5。损失函数为平均位移误差ADE，每批次训练样本为128，使用随机梯度下降(SGD)对模型进行100个周期的训练，学习率为0.01。
多模型融合轨迹预测部分步骤S5中的测试集同样取自场景1～场景5，为避免训练集与测试集重叠，采用如下5种交替训练测试方式：
1、训练集(hotel,univ,zara1,zara2)，测试集(eth)，模型权重Wmodel＝[0.1,1,0.1,0.1]；
2、训练集(eth,univ,zara1,zara2)，测试集(hotel)，模型权重Wmodel＝[0.1,1,0.1,0.1]；
3、训练集(eth,hotel,zara1,zara2)，测试集(univ)，模型权重Wmodel＝[0.1,0.1,1,0.1]；
4、训练集(eth,hotel,univ,zara2)，测试集(zara1)，模型权重Wmodel＝[0.1,0.1,0.1,1]；
5、训练集(eth,hotel,univ,zara1)，测试集(zara2)，模型权重Wmodel＝[0.1,0.1,1,0.1]。
多模型融合轨迹预测部分步骤S5中，蚁群训练参数设置：α＝1，β＝0.05，ρ＝0.1，蚁群总数m为50，最大迭代次数为60。
最后计算最佳规划轨迹与测试集中实际轨迹的平均位移误差ADE和最终位移误差FDE值，用以评估分类效果。平均位移误差ADE和最终位移误差FDE的表达式如下：
Figure BDA0003242790400000133
其中
Figure BDA0003242790400000134
Figure BDA0003242790400000135
分别为第t帧预测坐标及实际坐标；
Figure BDA0003242790400000136
分别为轨迹最后一帧预测坐标和实际坐标。
表2与已有主流成果比较ADE/FDE测度值
eth hotel univ zara1 zara2 平均
Linear 1.33/2.94 0.39/0.72 0.82/1.59 0.62/1.21 0.77/1.48 0.79/1.59
S-LSTM 1.09/2.35 0.79/1.76 0.67/1.40 0.47/1.00 0.56/1.17 0.72/1.54
S-GAN-P 0.87/1.62 0.67/1.37 0.76/1.52 0.35/0.68 0.42/0.84 0.61/1.21
SoPhie 0.70/1.43 0.76/1.67 0.54/1.24 0.30/0.63 0.38/0.78 0.54/1.15
本发明 0.76/1.23 0.67/1.07 0.58/0.83 0.45/0.62 0.42/0.59 0.58/0.87
如表2所示，本方明在5个不同场景的平均ADE值优于前3种主流方法，平均FDE值显著优于参与比较的4种主流方法。
以上，本发明实施例将多个不同场景的生成模型进行融合，并将行人间相互影响力，行人个体运动能量最小、避免拥堵等规则及深度模型进行结合从而实现了更准确的行人轨迹预测。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种多场景融合下的行人运动轨迹预测方法，其特征在于，包括步骤：
S1、采集J+1个场景下N个行人的运动轨迹，生成对应的J个训练数据集和1个测试数据集，并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集，对测试数据集进行预处理生成测试输入样本集；
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵；
S3、基于每个场景的训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练，得到每个场景的预测模型；
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中，得到每个行人的J条预测轨迹；
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中，以对每个行人的J条预测轨迹进行组合优化，得到每个行人的最优预测轨迹。
2.根据权利要求1所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S1中，任一训练数据集S包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标，即
Figure FDA0003242790390000011
其中1帧数据
Figure FDA0003242790390000012
记录了N个行人在某一时刻的空间位置，即
Figure FDA0003242790390000013
其中行人n在帧序f的空间位置标识为
Figure FDA0003242790390000014
1≤f≤F为帧序号，1≤n≤N为行人序号，(x，y)为行人二维平面坐标点；
时间段[Δt，T+Δt]包含了N个行人的T0+T1帧连续位置坐标，前T0帧数据可构建一个训练输入样本，后T1帧数据可构建一个训练输出参考样本，改变起始时间Δt，即Δt＝mTfra，0≤m≤(M-1)，其中Tfra为相邻帧时间间隔，共可得M个训练输入样本和M个训练输出参考样本，其中M个训练输入样本构成训练数据集S的输入样本集
Figure FDA0003242790390000015
其中样本
Figure FDA0003242790390000016
由N个行人的连续T0帧位置坐标构成，即
Figure FDA0003242790390000021
M个训练输出参考样本构成训练数据集S的训练输出参考集
Figure FDA0003242790390000022
样本
Figure FDA0003242790390000023
由N个行人的连续T1帧位置坐标构成，即
Figure FDA0003242790390000024
1≤m≤M为样本序号；
测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
3.根据权利要求2所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，所述步骤S5具体包括步骤：
S51、针对行人n的J条预测轨迹构建J×T1维节点网络；
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群，获取节点Net(i，t)到节点Net(j，t+1)的启发式信息，节点Net(i，t)为预测模型model(i)预测输出的第t帧坐标，节点Net(j，t+1)为预测模型model(j)输出的第t+1帧坐标；
S53、基于第k只人工蚂蚁从节点Net(i，t)走到节点Net(j，t+1)的概率构建第k只蚂蚁的路径；
S54、为所有蚂蚁构建好路径，之后更新各节点上的信息素；
S55、以运动能量最小化约束衡量整条路径被选择；
S56、重复步骤S52～S55进行迭代，当达到最大迭代次数时，终止迭代，最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹，输出行人n的最优预测轨迹。
4.根据权利要求3所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S51中，行人n的J条预测轨迹表示为：
Figure FDA0003242790390000025
xt、yt表示行人n在帧序t的横纵坐标，1≤t≤T1，model(j)表示预测模型j，1≤j≤J；
J×T1维节点网络表示为：
Figure FDA0003242790390000031
其中，节点Net(j，t)＝(xj，t，yj，t)为model(j)预测输出的第t帧坐标，1≤t≤T1，1≤j≤J。
5.根据权利要求4所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S52中，所述启发式信息表示为：
Figure FDA0003242790390000032
ηij表示人工蚂蚁从节点Net(i，t)到Net(j，t+1)的启发式信息，1≤i≤J，1≤j≤J；Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标；
在所述步骤S53中，第k只人工蚂蚁从节点Net(i，t)走到节点Net(j，t+1)的概率表示为：
Figure FDA0003242790390000033
τij表示该蚂蚁释放在节点Net(i，t)到Net(j，t+1)这条边上的信息素，ηij为该蚂蚁从节点Net(i，t)到节点Net(j，t+1)的启发式信息，由于1≤j′≤J，τij′为该蚂蚁释放在节点Net(i，t)到下一个所有可能节点的信息素，ηij′为该蚂蚁从节点Net(i，t)到下一个所有可能节点的启发式信息；α为信息素的影响力，β为启发式信息的影响力；
信息素初值
Figure FDA0003242790390000034
与不同场景预测模型的权重Wmode1＝[w1，w2，…，wJ]相关，即
Figure FDA0003242790390000035
其中wi、wj分别为模型i和模型j的权重。
6.根据权利要求5所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S54中，各边上的信息素τij按如下公式更新：
Figure FDA0003242790390000041
其中第k只蚂蚁在边(Net(i，t)，Net(j，t+1))上释放的信息素
Figure FDA0003242790390000042
表示为：
Figure FDA0003242790390000043
这里m为蚂蚁总数，ρ表示信息素蒸发速率，eval(Tk)表示对路径Tk的能量最小化评估值；
在所述步骤S55中，基于运动能量最小化约束的评估值
Figure FDA0003242790390000044
其中前后节点相对位移变化
Figure FDA0003242790390000045
Figure FDA00032427903900000416
由于轨迹的连续性，起始参考点(x-1，y-1)为测试输入的观测轨迹倒数第二帧坐标。
7.根据权利要求1～6任一项所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S2中，所述相互影响函数用
Figure FDA0003242790390000046
度量，表示为：
Figure FDA0003242790390000047
其中，
Figure FDA0003242790390000048
表示行人i和行人j之间的相对速度
Figure FDA00032427903900000415
的模，
Figure FDA0003242790390000049
表示行人i和行人j之间的相对位移
Figure FDA00032427903900000410
的模，行人i与行人j的空间属性分别为
Figure FDA00032427903900000411
(xi，yi)、(xj，yj)分别为对应的位置坐标，
Figure FDA00032427903900000412
分别为对应的速度矢量；θp-θv为行人i、j之间的相对位移
Figure FDA00032427903900000413
与相对速度
Figure FDA00032427903900000414
的夹角，
Figure FDA0003242790390000051
当前帧t与前一帧t-1之间的帧间时间间隔设为单位1，则水平和垂直方向速度分量分别为前后帧的位移差，即
Figure FDA0003242790390000052
λ为平衡相对速度和相对位移的比例系数，
Figure FDA00032427903900000513
为可产生影响的最大范围距离。
8.根据权利要求7所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，在所述步骤S2中，N个行人第t帧的坐标所对应的行人间关系矩阵
Figure FDA0003242790390000053
其中第i行、第j列元素为
Figure FDA0003242790390000054
9.根据权利要求8所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，所述步骤S3包括步骤：
S31、提取输入样本
Figure FDA0003242790390000055
中第t帧的位置坐标信息，将其转化为矩阵形式
Figure FDA0003242790390000056
以构建连续T0帧集合
Figure FDA0003242790390000057
S32、将
Figure FDA0003242790390000058
输入空间图卷积网络层，基于At对Vt进行卷积，第t帧空间图卷积网络层输出
Figure FDA0003242790390000059
1≤t≤T0，其中D为At的度矩阵，W为随机初始化的2×2维矩阵，I为单位矩阵，σ(·)为激活函数，得到图卷积层输出集合
Figure FDA00032427903900000510
S33、输入
Figure FDA00032427903900000511
至L层卷积神经网络进行卷积，输出
Figure FDA00032427903900000512
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数，并利用随机梯度下降算法学习权重值，训练终止条件为满足最大训练周期数，保存训练好的预测模型。
10.根据权利要求9所述的一种多场景融合下的行人运动轨迹预测方法，其特征在于，所述S33具体为：
Figure FDA0003242790390000061
为2×N维矩阵，将
Figure FDA0003242790390000062
输入L层卷积神经网络，得到第一层输出
Figure FDA0003242790390000063
1≤t′≤T1，1≤i≤2，1≤j≤N及更高层输出
Figure FDA0003242790390000064
1≤t′＜T1，1≤l＜L，对应得到
Figure FDA0003242790390000065
的第一层输出
Figure FDA0003242790390000066
和更高层输出
Figure FDA0003242790390000067
Figure FDA0003242790390000068
为不同层卷积核的权重，K为卷积核尺度。
CN202111024236.5A 2021-09-02 2021-09-02 一种多场景融合下的行人运动轨迹预测方法 Active CN113689470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111024236.5A CN113689470B (zh) 2021-09-02 2021-09-02 一种多场景融合下的行人运动轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111024236.5A CN113689470B (zh) 2021-09-02 2021-09-02 一种多场景融合下的行人运动轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113689470A true CN113689470A (zh) 2021-11-23
CN113689470B CN113689470B (zh) 2023-08-11

Family

ID=78584985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111024236.5A Active CN113689470B (zh) 2021-09-02 2021-09-02 一种多场景融合下的行人运动轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113689470B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548746A (zh) * 2022-02-18 2022-05-27 深圳市格衡土地房地产资产评估咨询有限公司 基于信息素的拆迁全流程监控***及方法
CN114723784A (zh) * 2022-04-08 2022-07-08 重庆大学 一种基于域适应技术的行人运动轨迹预测方法
CN114802307A (zh) * 2022-05-23 2022-07-29 哈尔滨工业大学 自动与人工混合驾驶场景下的智能车辆横向控制方法
US20220326042A1 (en) * 2021-04-01 2022-10-13 Gwangju Institute Of Science And Technology Pedestrian trajectory prediction apparatus
CN116259176A (zh) * 2023-02-17 2023-06-13 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023244A (zh) * 2016-04-13 2016-10-12 南京邮电大学 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法
CN107924190A (zh) * 2015-06-23 2018-04-17 阿肯技术公司 用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的***
US20190206066A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Human Analytics Using Fusion Of Image & Depth Modalities
CN111145552A (zh) * 2020-01-06 2020-05-12 重庆大学 基于5g网络的车辆动态换道轨迹的规划方法
CN111428763A (zh) * 2020-03-17 2020-07-17 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112347923A (zh) * 2020-11-06 2021-02-09 常州大学 一种基于对抗生成网络的路侧端行人轨迹预测算法
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN113160269A (zh) * 2021-02-09 2021-07-23 北京工业大学 一种基于注意力机制的行人轨迹预测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924190A (zh) * 2015-06-23 2018-04-17 阿肯技术公司 用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的***
CN106023244A (zh) * 2016-04-13 2016-10-12 南京邮电大学 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
US20190206066A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Human Analytics Using Fusion Of Image & Depth Modalities
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111145552A (zh) * 2020-01-06 2020-05-12 重庆大学 基于5g网络的车辆动态换道轨迹的规划方法
CN111428763A (zh) * 2020-03-17 2020-07-17 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN112347923A (zh) * 2020-11-06 2021-02-09 常州大学 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN113160269A (zh) * 2021-02-09 2021-07-23 北京工业大学 一种基于注意力机制的行人轨迹预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NI XIONG等: "Mobile Robot Path Planning Based on Time Taboo Ant Colony Optimization in Dynamic Environment", 《FRONT. NEUROROBOT》, vol. 15, pages 1 - 11 *
XIONG DAN等: "用于行人轨迹预测的时空块和 LSTM 网络", 《ARXIV》, pages 1 - 12 *
刘文 等: "移动目标轨迹预测方法研究综述", 《智能科学与技术学报》, vol. 3, no. 2, pages 149 - 160 *
王竟成 等: "基于图卷积网络的交通预测综述", 《北京工业大学学报》, vol. 47, no. 8, pages 954 - 970 *
薛婉莹: "考虑行人轨迹的车辆主动避撞路径规划及控制研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 035 - 296 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220326042A1 (en) * 2021-04-01 2022-10-13 Gwangju Institute Of Science And Technology Pedestrian trajectory prediction apparatus
CN114548746A (zh) * 2022-02-18 2022-05-27 深圳市格衡土地房地产资产评估咨询有限公司 基于信息素的拆迁全流程监控***及方法
CN114723784A (zh) * 2022-04-08 2022-07-08 重庆大学 一种基于域适应技术的行人运动轨迹预测方法
CN114802307A (zh) * 2022-05-23 2022-07-29 哈尔滨工业大学 自动与人工混合驾驶场景下的智能车辆横向控制方法
CN114802307B (zh) * 2022-05-23 2023-05-05 哈尔滨工业大学 自动与人工混合驾驶场景下的智能车辆横向控制方法
CN116259176A (zh) * 2023-02-17 2023-06-13 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法
CN116259176B (zh) * 2023-02-17 2024-02-06 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法

Also Published As

Publication number Publication date
CN113689470B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN113689470A (zh) 一种多场景融合下的行人运动轨迹预测方法
Rehder et al. Pedestrian prediction by planning using deep neural networks
Diehl et al. Graph neural networks for modelling traffic participant interaction
CN109919358B (zh) 一种基于神经网络时空注意力机制的实时站点流量预测方法
Kim et al. Probabilistic vehicle trajectory prediction over occupancy grid map via recurrent neural network
Xin et al. Intention-aware long horizon trajectory prediction of surrounding vehicles using dual LSTM networks
Lenz et al. Deep neural networks for Markovian interactive scene prediction in highway scenarios
US11189171B2 (en) Traffic prediction with reparameterized pushforward policy for autonomous vehicles
US11501449B2 (en) Method for the assessment of possible trajectories
CN110737968B (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及***
CN107293115B (zh) 一种用于微观仿真的交通流量预测方法
CN113591380B (zh) 基于图高斯过程的交通流预测方法、介质及设备
CN112162555A (zh) 混合车队中基于强化学习控制策略的车辆控制方法
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及***
CN109300144A (zh) 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法
KR102373493B1 (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111860787A (zh) 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
CN114237235B (zh) 一种基于深度强化学习的移动机器人避障方法
Marina et al. Deep Grid Net (DGN): A deep learning system for real-time driving context understanding
CN113537580A (zh) 一种基于自适应图学习的公共交通客流预测方法及***
CN114116944A (zh) 一种基于时间注意力卷积网络的轨迹预测方法及装置
CN112418432A (zh) 分析多个物理对象之间的相互作用
CN114723784A (zh) 一种基于域适应技术的行人运动轨迹预测方法
Geng et al. Multimodal vehicular trajectory prediction with inverse reinforcement learning and risk aversion at urban unsignalized intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant