CN113689470A - 一种多场景融合下的行人运动轨迹预测方法 - Google Patents
一种多场景融合下的行人运动轨迹预测方法 Download PDFInfo
- Publication number
- CN113689470A CN113689470A CN202111024236.5A CN202111024236A CN113689470A CN 113689470 A CN113689470 A CN 113689470A CN 202111024236 A CN202111024236 A CN 202111024236A CN 113689470 A CN113689470 A CN 113689470A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- training
- equal
- frame
- pedestrians
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 96
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 239000000523 sample Substances 0.000 claims description 40
- 238000006073 displacement reaction Methods 0.000 claims description 26
- 239000003016 pheromone Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 14
- 241000257303 Hymenoptera Species 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000013074 reference sample Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 235000006629 Prosopis spicigera Nutrition 0.000 claims description 3
- 240000000037 Prosopis spicigera Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000008020 evaporation Effects 0.000 claims description 3
- 238000001704 evaporation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及自动驾驶技术领域,具体公开了一种多场景融合下的行人运动轨迹预测方法,包括步骤:采集J+1个场景下N个行人的运动轨迹,生成对应的J个训练数据集和1个测试数据集,并生成训练输入样本集、训练输出参考集、测试输入样本集;构造每个训练输入样本集、测试输入样本集中N个行人每帧的行人间关系矩阵;采用训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练,得到每个场景的预测模型;将测试输入样本集及对应行人间关系矩阵输入J个预测模型中,得到每个行人的J条预测轨迹;将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中,得到每个行人的最优预测轨迹。本发明通过上述步骤能够更加精准地预测行人轨迹。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种多场景融合下的行人运动轨迹预测方法。
背景技术
行人与车辆的碰撞事故在交通事故中占了极大比例,是极其重要的构成部分,行人的运动轨迹预测也是未来非人智能体(无人车辆,机器人等)应用的重要课题,对减少行人与车辆的碰撞事故,提升交通安全具有十分重要的意义。
在自动驾驶中,对行人轨迹的准确预测使控制器能够提前规划车辆在对抗环境中的运动。行人轨迹很难预测原因有如下几点:①行人与地形及周边环境之间相互作用复杂;②行人运动靠常识及社会习俗驱动;③由于行人目的地对观察者未知其运动本身的随机性。行人运动的社会属性使得早期研究者专使用各种社会力模型对其进行建模,近年来这一领域的研究人员专注于发明深层次的方法来模拟行人之间的社会互动,如使用社会长短期记忆网络(Social LSTM)和社会生成对抗网络(Social GAN)等深度学习方法进行建模,但仍然存在如下问题:
(1)社会力模型源于研究者构想,模型参数也缺乏实际实验数据支持,难以精准描述行人实际行为;
(2)基于深度学习的方法主要从大量实际观测数据样本中去学习行人的行为,对训练数据的依赖性很强,且难以避免个别偏离常识的预测错误;
(3)训练数据场景与实际应用场景存在不同程度差异导致模型适应性问题。
发明内容
本发明提供一种多场景融合下的行人运动轨迹预测方法,解决的技术问题在于:如何将多个不同场景的模型进行有效融合,为应用场景提供更好的模型适应性,以及如何更精准地预测行人轨迹。
为解决以上技术问题,本发明提供一种多场景融合下的行人运动轨迹预测方法,包括步骤:
S1、采集J+1个场景下N个行人的运动轨迹,生成对应的J个训练数据集和1个测试数据集,并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集,对测试数据集进行预处理生成测试输入样本集;
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵;
S3、基于每个场景的训练输入样本集及对应的的行人间关系矩阵对各自构建的时空卷积网络进行训练,得到每个场景的预测模型;
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中,得到每个行人的J条预测轨迹;
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中,以对每个行人的J条预测轨迹进行组合优化,得到每个行人的最优预测轨迹。
进一步地,在所述步骤S1中,任一训练数据集S包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标,即其中1帧数据记录了N个行人在某一时刻的空间位置,即其中行人n在帧序f的空间位置标识为1≤f≤F为帧序号,1≤n≤N为行人序号,(x,y)为行人二维平面坐标点;
时间段[Δt,T+Δt]包含了N个行人的T0+T1帧连续位置坐标,前T0帧数据可构建一个训练输入样本,后T1帧数据可构建一个训练输出参考样本,改变起始时间Δt,即Δt=mTfra,0≤m≤(M-1),其中Tfra为相邻帧时间间隔,共可得M个训练输入样本和M个训练输出参考样本,其中M个训练输入样本构成训练数据集S的输入样本集其中样本由N个行人的连续T0帧位置坐标构成,即M个训练输出参考样本构成训练数据集S的训练输出参考集样本由N个行人的连续T1帧位置坐标构成,即1≤m≤M为样本序号;
测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
进一步地,所述步骤S5具体包括步骤:
S51、针对行人n的J条预测轨迹构建J×T1维节点网络;
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群,获取节点Net(i,t)到节点Net(j,t+1)的启发式信息,节点Net(i,t)为预测模型model(i)预测输出的第t帧坐标,节点Net(j,t+1)为预测模型model(j)输出的第t+1帧坐标;
S53、基于第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率构建第k只蚂蚁的路径;
S54、为所有蚂蚁构建好路径,之后更新各节点上的信息素;
S55、以运动能量最小化约束衡量整条路径被选择;
S56、重复步骤S52~S55进行迭代,当达到最大迭代次数时,终止迭代,最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹,输出行人n的最优预测轨迹。
进一步地,在所述步骤S51中,行人n的J条预测轨迹表示为:
xt、yt表示行人n在帧序t的横纵坐标,1≤t≤T1,model(j)表示预测模型j,1≤j≤J;
J×T1维节点网络表示为:
其中,节点Net(j,t)=(xj,t,yj,t)为model(j)预测输出的第t帧坐标,1≤t≤T1,1≤j≤J。
进一步地,在所述步骤S52中,所述启发式信息表示为:
ηij表示人工蚂蚁从节点Net(i,t)到Net(j,t+1)的启发式信息,1≤i≤J,1≤j≤J;Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标;
在所述步骤S53中,第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率表示为:
τij表示该蚂蚁释放在节点Net(i,t)到Net(j,t+1)这条边上的信息素,ηij为该蚂蚁从节点Net(i,t)到节点Net(j,t+1)的启发式信息,由于1≤j′≤J,τij′为该蚂蚁释放在节点Net(i,t)到下一个所有可能节点的信息素,ηij′为该蚂蚁从节点Net(i,t)到下一个所有可能节点的启发式信息;α为信息素的影响力,β为启发式信息的影响力;
进一步地,在所述步骤S54中,各边上的信息素τij按如下公式更新:
这里m为蚂蚁总数,ρ表示信息素蒸发速率,eval(Tk)表示对路径Tk的能量最小化评估值;
其中,表示行人i和行人j之间的相对速度的模,表示行人i和行人j之间的相对位移的模,行人i与行人j的空间属性分别为(xi,yi)、(xj,yj)分别为对应的位置坐标,分别为对应的速度矢量;θp-θv为行人i、j之间的相对位移与相对速度的夹角,当前帧t与前一帧t-1之间的帧间时间间隔设为单位1,则水平和垂直方向速度分量分别为前后帧的位移差,即λ为平衡相对速度和相对位移的比例系数,为可产生影响的最大范围距离。
进一步地,所述步骤S3包括步骤:
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数,并利用随机梯度下降算法学习权重值,训练终止条件为满足最大训练周期数,保存训练好的预测模型。
进一步地,所述S33具体为:
本发明提供的一种多场景融合下的行人运动轨迹预测方法,与现有技术方案相比较,具有以下优点:
1)针对不同场景数据集训练模型,并将多个模型的预测轨迹进行加权融合,从而起到对测试数据集的更有效适应;
2)综合考虑共同空间内行人之间的相对位移、相对速度、角度方向对运动轨迹的影响,从而构建行人间关系矩阵,为空时卷积网络提供先验知识;
3)将行人运动的能量最小化、回避拥堵这两个约束融入到组合优化(蚁群优化)当中,并规划预测最优路径,能够更加精准地预测行人轨迹。
附图说明
图1是本发明实施例提供的一种多场景融合下的行人运动轨迹预测方法的第一流程图;
图2是本发明实施例提供的一种多场景融合下的行人运动轨迹预测方法的第二流程图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
本发明实施例提供一种多场景融合下的行人运动轨迹预测方法,如图1的流程图所示,包括步骤:
S1、采集J+1个场景下N个行人的运动轨迹,生成对应的J个训练数据集和1个测试数据集,并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集,对测试数据集进行预处理生成测试输入样本集;
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵;
S3、基于每个场景的训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练,得到每个场景的预测模型;
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中,得到每个行人的J条预测轨迹;
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中,以对每个行人的J条预测轨迹进行组合优化,得到每个行人的最优预测轨迹。
图2更直观地展示了整个预测方法的流程。
(1)对于步骤S1
对于J个训练数据集中任一训练数据集S其包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标,即其中1帧数据记录了N个行人在某一时刻的空间位置,即其中行人n在帧序f的空间位置标识为为帧序号,1≤n≤N为行人序号,(x,y)为行人二维平面坐标点(不考虑地面起伏高度落差因素)。
时间段[Δt,T+Δt]包含了N个行人的T0+T1帧连续位置坐标,前T0帧数据可构建一个训练输入样本,后T1帧数据可构建一个训练输出参考样本,改变起始时间Δt,即Δt=mTfra,0≤m≤(M-1),其中Tfra为相邻帧时间间隔,共可得M个训练输入样本和M个训练输出参考样本,其中M个训练输入样本构成训练数据集S的输入样本集其中样本由N个行人的连续T0帧位置坐标构成,即M个训练输出参考样本构成训练数据集S的训练输出参考集样本由N个行人的连续T1帧位置坐标构成,即为样本序号。测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
(2)对于步骤S2
其中,表示行人i和行人j之间的相对速度的模,表示行人i和行人j之间的相对位移的模,行人i与行人j的空间属性分别为(xi,yi)、(xj,yj)分别为对应的位置坐标,分别为对应的速度矢量;θp-θv为行人i、j之间的相对位移与相对速度的夹角, 当前帧t与前一帧t-1之间的帧间时间间隔设为单位1,则水平和垂直方向速度分量分别为前后帧的位移差,即 λ为平衡相对速度和相对位移的比例系数,为可产生影响的最大范围距离。
(3)对于步骤S3
步骤S3包括步骤:
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数,并利用随机梯度下降算法学习权重值,训练终止条件为满足最大训练周期数,保存训练好的预测模型。
由此,得到J个场景的J个预测模型。
(4)对于步骤S5
步骤S5具体包括步骤:
S51、针对行人n的J条预测轨迹构建J×T1维节点网络;
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群,获取节点Net(i,t)到节点Net(j,t+1)的启发式信息,节点Net(i,t)为预测模型model(i)预测输出的第t帧坐标,节点Net(j,t+1)为预测模型model(j)输出的第t+1帧坐标;
S53、基于第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率构建第k只蚂蚁的路径;
S54、为所有蚂蚁构建好路径,之后更新各节点上的信息素;
S55、以运动能量最小化约束衡量整条路径被选择;
S56、重复步骤S52~S55进行迭代,当达到最大迭代次数时,终止迭代,最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹,输出行人n的最优预测轨迹。
在步骤S51中,行人n的J条预测轨迹表示为:
xt、yt表示行人n在帧序t的横纵坐标,1≤t≤T1,model(j)表示预测模型j,1≤j≤J;
J×T1维节点网络表示为:
其中,节点Net(j,t)=(xj,t,yj,t)为model(j)预测输出的第t帧坐标,1≤t≤T1,1≤j≤J。
在步骤S52中,所述启发式信息表示为:
ηij表示人工蚂蚁从节点Net(i,t)到Net(j,t+1)的启发式信息,1≤i≤J,1≤j≤J;Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标;
在所述步骤S53中,第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率表示为:
τij表示该蚂蚁释放在节点Net(i,t)到Net(j,t+1)这条边上的信息素,ηij为该蚂蚁从节点Net(i,t)到节点Net(j,t+1)的启发式信息,由于1≤j′≤J,τij′为该蚂蚁释放在节点Net(i,t)到下一个所有可能节点的信息素,ηij′为该蚂蚁从节点Net(i,t)到下一个所有可能节点的启发式信息;α为信息素的影响力,β为启发式信息的影响力;
在步骤S54中,各边上的信息素τij按如下公式更新:
这里m为蚂蚁总数,ρ表示信息素蒸发速率,eval(Tk)表示对路径Tk的能量最小化评估值;
由此,通过训练得到的多个场景下的预测模型结合步骤S4、S5可对实际应用场景中的多个行人进行最优运动轨迹预测。与现有技术方案相比较,本发明实施例提供的预测方法具有以下优点:
1)针对不同场景数据集训练模型,并将多个模型的预测轨迹进行加权融合,从而起到对测试数据集的更有效适应;
2)综合考虑共同空间内行人之间的相对位移、相对速度、角度方向对运动轨迹的影响,从而构建行人间关系矩阵,为空时卷积网络提供先验知识;
3)将行人运动的能量最小化、回避拥堵这两个约束融入到组合优化(蚁群优化)当中,并规划预测最优路径,能够更加精准地预测行人轨迹。
下面通过实验验证本预测方法的效果。
多场景模型训练部分步骤S1中J个训练数据集包括eth的两个数据集(eth,hotel)及UCY的3个数据集(univ,zara1,zara2)共5个不同场景数据集。如表1单帧数据片段示例,数据由多帧数据组成,每帧数据标注了(行人编号,帧序号,行人x坐标,行人y坐标),帧间隔为0.4秒,观察样本为3.2秒行人轨迹,对应T0=8帧图像,并预测接下来4.8秒的轨迹,对应T1=12帧的图像。
表1单帧数据片段示例
帧序号 | 行人编号 | 行人x坐标 | 行人y坐标 |
10 | 1.0 | 10.7867577985 | 3.67631555479 |
10 | 2.0 | 10.9587077931 | 3.15460523261 |
10 | 3.0 | 10.9993275592 | 2.64673717882 |
多场景模型训练部分步骤S3中激活函数其中a=0.25,卷积核尺度为2,图卷积层为1层,空时卷积总层数L=5。损失函数为平均位移误差ADE,每批次训练样本为128,使用随机梯度下降(SGD)对模型进行100个周期的训练,学习率为0.01。
多模型融合轨迹预测部分步骤S5中的测试集同样取自场景1~场景5,为避免训练集与测试集重叠,采用如下5种交替训练测试方式:
1、训练集(hotel,univ,zara1,zara2),测试集(eth),模型权重Wmodel=[0.1,1,0.1,0.1];
2、训练集(eth,univ,zara1,zara2),测试集(hotel),模型权重Wmodel=[0.1,1,0.1,0.1];
3、训练集(eth,hotel,zara1,zara2),测试集(univ),模型权重Wmodel=[0.1,0.1,1,0.1];
4、训练集(eth,hotel,univ,zara2),测试集(zara1),模型权重Wmodel=[0.1,0.1,0.1,1];
5、训练集(eth,hotel,univ,zara1),测试集(zara2),模型权重Wmodel=[0.1,0.1,1,0.1]。
多模型融合轨迹预测部分步骤S5中,蚁群训练参数设置:α=1,β=0.05,ρ=0.1,蚁群总数m为50,最大迭代次数为60。
最后计算最佳规划轨迹与测试集中实际轨迹的平均位移误差ADE和最终位移误差FDE值,用以评估分类效果。平均位移误差ADE和最终位移误差FDE的表达式如下:
表2与已有主流成果比较ADE/FDE测度值
eth | hotel | univ | zara1 | zara2 | 平均 | |
Linear | 1.33/2.94 | 0.39/0.72 | 0.82/1.59 | 0.62/1.21 | 0.77/1.48 | 0.79/1.59 |
S-LSTM | 1.09/2.35 | 0.79/1.76 | 0.67/1.40 | 0.47/1.00 | 0.56/1.17 | 0.72/1.54 |
S-GAN-P | 0.87/1.62 | 0.67/1.37 | 0.76/1.52 | 0.35/0.68 | 0.42/0.84 | 0.61/1.21 |
SoPhie | 0.70/1.43 | 0.76/1.67 | 0.54/1.24 | 0.30/0.63 | 0.38/0.78 | 0.54/1.15 |
本发明 | 0.76/1.23 | 0.67/1.07 | 0.58/0.83 | 0.45/0.62 | 0.42/0.59 | 0.58/0.87 |
如表2所示,本方明在5个不同场景的平均ADE值优于前3种主流方法,平均FDE值显著优于参与比较的4种主流方法。
以上,本发明实施例将多个不同场景的生成模型进行融合,并将行人间相互影响力,行人个体运动能量最小、避免拥堵等规则及深度模型进行结合从而实现了更准确的行人轨迹预测。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种多场景融合下的行人运动轨迹预测方法,其特征在于,包括步骤:
S1、采集J+1个场景下N个行人的运动轨迹,生成对应的J个训练数据集和1个测试数据集,并对每个训练数据集进行预处理生成训练输入样本集和训练输出参考集,对测试数据集进行预处理生成测试输入样本集;
S2、通过构造度量空间中行人运动的相互影响函数构造每个训练输入样本集及测试输入样本集中N个行人每帧的行人间关系矩阵;
S3、基于每个场景的训练输入样本集及对应的行人间关系矩阵对各自构建的时空卷积网络进行训练,得到每个场景的预测模型;
S4、将测试输入样本集及对应的行人间关系矩阵输入到J个预测模型中,得到每个行人的J条预测轨迹;
S5、将运动能量最小化约束、回避拥堵约束融入到蚁群优化算法中,以对每个行人的J条预测轨迹进行组合优化,得到每个行人的最优预测轨迹。
2.根据权利要求1所述的一种多场景融合下的行人运动轨迹预测方法,其特征在于,在所述步骤S1中,任一训练数据集S包含了将N个行人在一段较长时间内运动轨迹进行等时间间隔采样所形成的F帧位置坐标,即其中1帧数据记录了N个行人在某一时刻的空间位置,即其中行人n在帧序f的空间位置标识为1≤f≤F为帧序号,1≤n≤N为行人序号,(x,y)为行人二维平面坐标点;
时间段[Δt,T+Δt]包含了N个行人的T0+T1帧连续位置坐标,前T0帧数据可构建一个训练输入样本,后T1帧数据可构建一个训练输出参考样本,改变起始时间Δt,即Δt=mTfra,0≤m≤(M-1),其中Tfra为相邻帧时间间隔,共可得M个训练输入样本和M个训练输出参考样本,其中M个训练输入样本构成训练数据集S的输入样本集其中样本由N个行人的连续T0帧位置坐标构成,即M个训练输出参考样本构成训练数据集S的训练输出参考集样本由N个行人的连续T1帧位置坐标构成,即1≤m≤M为样本序号;
测试数据集构建测试输入样本集与训练数据集构建训练输入样本集的方式相同。
3.根据权利要求2所述的一种多场景融合下的行人运动轨迹预测方法,其特征在于,所述步骤S5具体包括步骤:
S51、针对行人n的J条预测轨迹构建J×T1维节点网络;
S52、基于回避拥堵约束即行人倾向于避免拥堵碰撞会主动远离密集人群,获取节点Net(i,t)到节点Net(j,t+1)的启发式信息,节点Net(i,t)为预测模型model(i)预测输出的第t帧坐标,节点Net(j,t+1)为预测模型model(j)输出的第t+1帧坐标;
S53、基于第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率构建第k只蚂蚁的路径;
S54、为所有蚂蚁构建好路径,之后更新各节点上的信息素;
S55、以运动能量最小化约束衡量整条路径被选择;
S56、重复步骤S52~S55进行迭代,当达到最大迭代次数时,终止迭代,最后一次迭代多数人工蚂蚁走过的节点构成最优预测轨迹,输出行人n的最优预测轨迹。
5.根据权利要求4所述的一种多场景融合下的行人运动轨迹预测方法,其特征在于,在所述步骤S52中,所述启发式信息表示为:
ηij表示人工蚂蚁从节点Net(i,t)到Net(j,t+1)的启发式信息,1≤i≤J,1≤j≤J;Pother(n)为观测轨迹最后一帧周围其他N-1个行人的位置坐标;
在所述步骤S53中,第k只人工蚂蚁从节点Net(i,t)走到节点Net(j,t+1)的概率表示为:
τij表示该蚂蚁释放在节点Net(i,t)到Net(j,t+1)这条边上的信息素,ηij为该蚂蚁从节点Net(i,t)到节点Net(j,t+1)的启发式信息,由于1≤j′≤J,τij′为该蚂蚁释放在节点Net(i,t)到下一个所有可能节点的信息素,ηij′为该蚂蚁从节点Net(i,t)到下一个所有可能节点的启发式信息;α为信息素的影响力,β为启发式信息的影响力;
9.根据权利要求8所述的一种多场景融合下的行人运动轨迹预测方法,其特征在于,所述步骤S3包括步骤:
S32、将输入空间图卷积网络层,基于At对Vt进行卷积,第t帧空间图卷积网络层输出1≤t≤T0,其中D为At的度矩阵,W为随机初始化的2×2维矩阵,I为单位矩阵,σ(·)为激活函数,得到图卷积层输出集合
S34、设计将训练过程中模型输出与训练输出参考样本的平均位移误差作为计算训练误差的损失函数,并利用随机梯度下降算法学习权重值,训练终止条件为满足最大训练周期数,保存训练好的预测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111024236.5A CN113689470B (zh) | 2021-09-02 | 2021-09-02 | 一种多场景融合下的行人运动轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111024236.5A CN113689470B (zh) | 2021-09-02 | 2021-09-02 | 一种多场景融合下的行人运动轨迹预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689470A true CN113689470A (zh) | 2021-11-23 |
CN113689470B CN113689470B (zh) | 2023-08-11 |
Family
ID=78584985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111024236.5A Active CN113689470B (zh) | 2021-09-02 | 2021-09-02 | 一种多场景融合下的行人运动轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689470B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548746A (zh) * | 2022-02-18 | 2022-05-27 | 深圳市格衡土地房地产资产评估咨询有限公司 | 基于信息素的拆迁全流程监控***及方法 |
CN114723784A (zh) * | 2022-04-08 | 2022-07-08 | 重庆大学 | 一种基于域适应技术的行人运动轨迹预测方法 |
CN114802307A (zh) * | 2022-05-23 | 2022-07-29 | 哈尔滨工业大学 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
US20220326042A1 (en) * | 2021-04-01 | 2022-10-13 | Gwangju Institute Of Science And Technology | Pedestrian trajectory prediction apparatus |
CN116259176A (zh) * | 2023-02-17 | 2023-06-13 | 安徽大学 | 一种基于意图随机性影响策略的行人轨迹预测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
CN107924190A (zh) * | 2015-06-23 | 2018-04-17 | 阿肯技术公司 | 用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的*** |
US20190206066A1 (en) * | 2017-12-29 | 2019-07-04 | RetailNext, Inc. | Human Analytics Using Fusion Of Image & Depth Modalities |
CN111145552A (zh) * | 2020-01-06 | 2020-05-12 | 重庆大学 | 基于5g网络的车辆动态换道轨迹的规划方法 |
CN111428763A (zh) * | 2020-03-17 | 2020-07-17 | 陕西师范大学 | 一种基于场景约束gan的行人轨迹预测方法 |
CN111553232A (zh) * | 2020-04-22 | 2020-08-18 | 陕西师范大学 | 基于场景状态迭代的门循环单元网络行人轨迹预测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN112347923A (zh) * | 2020-11-06 | 2021-02-09 | 常州大学 | 一种基于对抗生成网络的路侧端行人轨迹预测算法 |
US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
CN113160269A (zh) * | 2021-02-09 | 2021-07-23 | 北京工业大学 | 一种基于注意力机制的行人轨迹预测方法 |
-
2021
- 2021-09-02 CN CN202111024236.5A patent/CN113689470B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107924190A (zh) * | 2015-06-23 | 2018-04-17 | 阿肯技术公司 | 用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的*** |
CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
US20190206066A1 (en) * | 2017-12-29 | 2019-07-04 | RetailNext, Inc. | Human Analytics Using Fusion Of Image & Depth Modalities |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN111145552A (zh) * | 2020-01-06 | 2020-05-12 | 重庆大学 | 基于5g网络的车辆动态换道轨迹的规划方法 |
CN111428763A (zh) * | 2020-03-17 | 2020-07-17 | 陕西师范大学 | 一种基于场景约束gan的行人轨迹预测方法 |
CN111553232A (zh) * | 2020-04-22 | 2020-08-18 | 陕西师范大学 | 基于场景状态迭代的门循环单元网络行人轨迹预测方法 |
CN112347923A (zh) * | 2020-11-06 | 2021-02-09 | 常州大学 | 一种基于对抗生成网络的路侧端行人轨迹预测算法 |
CN113160269A (zh) * | 2021-02-09 | 2021-07-23 | 北京工业大学 | 一种基于注意力机制的行人轨迹预测方法 |
Non-Patent Citations (5)
Title |
---|
NI XIONG等: "Mobile Robot Path Planning Based on Time Taboo Ant Colony Optimization in Dynamic Environment", 《FRONT. NEUROROBOT》, vol. 15, pages 1 - 11 * |
XIONG DAN等: "用于行人轨迹预测的时空块和 LSTM 网络", 《ARXIV》, pages 1 - 12 * |
刘文 等: "移动目标轨迹预测方法研究综述", 《智能科学与技术学报》, vol. 3, no. 2, pages 149 - 160 * |
王竟成 等: "基于图卷积网络的交通预测综述", 《北京工业大学学报》, vol. 47, no. 8, pages 954 - 970 * |
薛婉莹: "考虑行人轨迹的车辆主动避撞路径规划及控制研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 035 - 296 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220326042A1 (en) * | 2021-04-01 | 2022-10-13 | Gwangju Institute Of Science And Technology | Pedestrian trajectory prediction apparatus |
CN114548746A (zh) * | 2022-02-18 | 2022-05-27 | 深圳市格衡土地房地产资产评估咨询有限公司 | 基于信息素的拆迁全流程监控***及方法 |
CN114723784A (zh) * | 2022-04-08 | 2022-07-08 | 重庆大学 | 一种基于域适应技术的行人运动轨迹预测方法 |
CN114802307A (zh) * | 2022-05-23 | 2022-07-29 | 哈尔滨工业大学 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
CN114802307B (zh) * | 2022-05-23 | 2023-05-05 | 哈尔滨工业大学 | 自动与人工混合驾驶场景下的智能车辆横向控制方法 |
CN116259176A (zh) * | 2023-02-17 | 2023-06-13 | 安徽大学 | 一种基于意图随机性影响策略的行人轨迹预测方法 |
CN116259176B (zh) * | 2023-02-17 | 2024-02-06 | 安徽大学 | 一种基于意图随机性影响策略的行人轨迹预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113689470B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689470A (zh) | 一种多场景融合下的行人运动轨迹预测方法 | |
Rehder et al. | Pedestrian prediction by planning using deep neural networks | |
Diehl et al. | Graph neural networks for modelling traffic participant interaction | |
CN109919358B (zh) | 一种基于神经网络时空注意力机制的实时站点流量预测方法 | |
Kim et al. | Probabilistic vehicle trajectory prediction over occupancy grid map via recurrent neural network | |
Xin et al. | Intention-aware long horizon trajectory prediction of surrounding vehicles using dual LSTM networks | |
Lenz et al. | Deep neural networks for Markovian interactive scene prediction in highway scenarios | |
US11189171B2 (en) | Traffic prediction with reparameterized pushforward policy for autonomous vehicles | |
US11501449B2 (en) | Method for the assessment of possible trajectories | |
CN110737968B (zh) | 基于深层次卷积长短记忆网络的人群轨迹预测方法及*** | |
CN107293115B (zh) | 一种用于微观仿真的交通流量预测方法 | |
CN113591380B (zh) | 基于图高斯过程的交通流预测方法、介质及设备 | |
CN112162555A (zh) | 混合车队中基于强化学习控制策略的车辆控制方法 | |
CN114802296A (zh) | 一种基于动态交互图卷积的车辆轨迹预测方法 | |
CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及*** | |
CN109300144A (zh) | 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法 | |
KR102373493B1 (ko) | V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
CN111860787A (zh) | 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置 | |
CN114237235B (zh) | 一种基于深度强化学习的移动机器人避障方法 | |
Marina et al. | Deep Grid Net (DGN): A deep learning system for real-time driving context understanding | |
CN113537580A (zh) | 一种基于自适应图学习的公共交通客流预测方法及*** | |
CN114116944A (zh) | 一种基于时间注意力卷积网络的轨迹预测方法及装置 | |
CN112418432A (zh) | 分析多个物理对象之间的相互作用 | |
CN114723784A (zh) | 一种基于域适应技术的行人运动轨迹预测方法 | |
Geng et al. | Multimodal vehicular trajectory prediction with inverse reinforcement learning and risk aversion at urban unsignalized intersections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |